Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

OpenAI Operator, Anthropic Claude Coder

Answer

以下是关于 OpenAI Operator 和 Anthropic Claude Coder 的相关信息：

2025 年 Agent 领域的发展预测：

  • 从对话助手到行动型智能体是 2025 年 Agent 技术的主流发展方向之一。计算机操作能力取得突破，传统大模型更多充当聊天助手，而 2025 年的突破在于让 Agent 直接“动手”操作电脑和网络环境。
    • Anthropic 在 2024 年底发布的 Claude 3.5 Sonnet 首次引入“Computer Use”能力，让 AI 像人一样通过视觉感知屏幕并操作鼠标键盘，实现了 AI 自主使用电脑的雏形。
    • OpenAI 在同期推出了代号“Operator”的 Agent 及其核心模型“计算机使用智能体”（CUA），使 GPT-4 获得直接与图形界面交互的能力。CUA 通过强化学习将 GPT-4 的视觉能力与高级推理相结合，训练 AI 可像人一样点击按钮、填表、滚动页面等。在 OpenAI 的测试中，CUA 在浏览器任务基准 WebArena 和 WebVoyager 上分别达到 38.1%和 87%的成功率，后者已接近人类水平。

其他相关信息：

  • 宝玉日报 1 月 25 日：
    • Deepseek 提示词框架包含四大模块：任务目的（Purpose）、计划规则（Planning Rules）、格式规则（Format Rules）、输出说明（Output）。
    • Anthropic 的 Claude 可通过屏幕截图获取计算机视觉信息，计算光标移动的像素坐标，并执行点击、滚动等操作。
    • OpenAI Operator 利用虚拟主机和 Chrome 浏览器，通过 CUA 实现网页实时操作，支持复杂任务导航。

主要的大语言模型：

  • OpenAI 系统包括 3.5 和 4 等，3.5 模型在 11 月启动了当前的 AI 热潮，4.0 模型在春季首次发布，功能更强大。新的变种使用插件连接到互联网和其他应用程序。Code Interpreter 是一个非常强大的 ChatGPT 版本，可以运行 Python 程序。未为 OpenAI 付费只能使用 3.5。微软的 Bing 使用 4 和 3.5 的混合，通常是 GPT-4 家族中首个推出新功能的模型，连接到互联网。
  • 谷歌一直在测试自己的人工智能 Bard，由各种基础模型驱动，最近是 PaLM 2 模型。
  • Anthropic 发布了 Claude 2，其最值得注意的是有一个非常大的上下文窗口。
Content generated by AI large model, please carefully verify (powered by aily)

References

[趋势研究] 对比DR/AutoGLM - 2025年Agent领域的发展预测

计算机操作能力突破。传统的大模型更多充当聊天助手，回答问题或提供建议，而2025年的突破在于让Agent直接“动手”操作电脑和网络环境。Anthropic在2024年底发布的Claude 3.5 Sonnet首次引入“Computer Use”能力，即让AI像人一样通过视觉感知屏幕并操作鼠标键盘，从而在公开测试中实现了AI自主使用电脑的雏形。OpenAI在同期也推出了代号“Operator”的Agent及其核心模型“计算机使用智能体”（CUA），使GPT-4获得直接与图形界面交互的能力。CUA通过强化学习将GPT-4的视觉能力与高级推理相结合，训练AI可像人一样点击按钮、填表、滚动页面等。在OpenAI的测试中，CUA在浏览器任务基准WebArena和WebVoyager上分别达到38.1%和87%的成功率，后者已接近人类水平。这表明AI从“会对话”进化到“会操作”，迈出了关键一步。OpenAI的Operator现已作为研究预览提供给高端专业用户使用，每月订阅费用$200。尽管目前使用门槛较高，但官方计划逐步将此功能推广至普通Plus用户并集成进ChatGPT主界面。在Operator的演示中，用户只需提出诸如“帮我在网站上预订最高评价的罗马一日游”的任务，Agent就能自主打开浏览器、搜索并浏览旅游网站，下单预订相应产品。这种“行动型AI”**预示着未来数字助理将不仅能给出建议，而且可以直接“去做”，大幅拓宽了AI的应用边界。

宝玉 日报

?宝玉日报「1月25日」1⃣️?Deepseek提示词框架：包含四大模块：任务目的（Purpose）、计划规则（Planning Rules）、格式规则（Format Rules）、输出说明（Output）。该框架侧重清晰的任务分解与规则定义，但作者建议不要过度依赖框架，更重视上下文与任务简化。示例模板清晰描述了开发者背景、任务目标与规则细节。?[https://x.com/dotey/status/1883041528408318382](https://x.com/dotey/status/1883041528408318382)2⃣️?️Anthropic的“计算机使用”能力模型：Claude可通过屏幕截图获取计算机视觉信息，计算光标移动的像素坐标，并执行点击、滚动等操作。该模型结合了图像识别、推理和动作能力，可将用户指令转化为逻辑步骤并执行任务。经过少量软件训练后，Claude展现了快速适应和问题自我纠正的能力。?[https://x.com/richards_19999/status/1883006846656790898](https://x.com/richards_19999/status/1883006846656790898)?[https://x.com/dotey/status/1883009692852519062](https://x.com/dotey/status/1883009692852519062)3⃣️?OpenAI Operator的工作机制：Operator利用虚拟主机和Chrome浏览器，通过CUA实现网页实时操作，支持复杂任务导航。CUA的能力来源于GPT-4o的视觉处理和强化学习，能够处理屏幕截图、推理操作并生成屏幕控制指令。使用链式思考（CoT）迭代感知、推理、动作循环，完成操作或请求用户确认敏感任务。

如何使用 AI 来做事：一份带有观点的指南

前四个（包括Bing）都是OpenAI系统。今天有两大主要的OpenAI AI：3.5和4。3.5模型在11月启动了当前的AI热潮，4.0模型在春季首次发布，功能更强大。一个新的变种使用插件连接到互联网和其他应用程序。有很多插件，其中大部分不是很有用，但你应该随需要自由探索它们。Code Interpreter是一个非常强大的ChatGPT版本，可以运行Python程序。如果您从未为OpenAI付费，那么您只能使用3.5。除了插件变种和一个暂时停用的带有浏览功能的GPT-4版本之外，这些模型都没有连接到互联网。微软的Bing使用4和3.5的混合，通常是GPT-4家族中首个推出新功能的模型。例如，它既可以创建也可以查看图像，而且它可以在网页浏览器中阅读文档。它连接到互联网。[Bing使用有点奇怪，但功能强大。](https://oneusefulthing.substack.com/p/power-and-weirdness-how-to-use-bing)谷歌一直在测试自己的人工智能供消费者使用，他们称之为Bard，但是由各种基础模型驱动，最近是一个名叫PaLM 2的模型。对于开发出LLM技术的公司来说，他们非常令人失望，尽管昨天宣布的改进表明他们仍在研究基础技术，所以有希望。它已经获得了运行有限代码和解释图像的能力，但我目前通常会避免它。最后一家公司Anthropic发布了Claude 2。Claude最值得注意的是有一个非常大的上下文窗口-本质上是LLM的记忆。Claude几乎可以保存一整本书或许多PDF。与其他大型语言模型相比，它不太可能恶意行事，这意味着，在实际上，它倾向于对你做一些事情进行责骂。现在，来看看一些用途：

Others are asking
Claude Artifacts是什么
Claude Artifacts 是由 Claude 推出的一项工具。它具有将前端代码直接渲染成网页的功能，在前端代码生成能力方面表现出色。例如，可以借助 Claude 的 Artifact 功能制作海报、思维导图等，用户无需编写代码或使用专业设计软件，仅通过与 Claude 对话并输入提示词，就能生成符合需求的内容。目前关于 Claude Artifacts 的探索文章相对较少，但其具有代码跑通率高、设计美感好等特点，还能实现动态生成的效果。
2025-04-01
怎么写给 Claude 的 prompts
以下是关于如何写给 Claude 的 prompts 的相关内容： 1. 提示简介：提示是您给 Claude 的文本，用于引发相关输出，通常以问题或指示的形式出现。例如，“User|Why is the sky blue? 为什么天空是蓝色的？”，Claude 回答的文本被称为“响应”，有时也被称为“输出”或“完成”。 2. 构建 Prompt：可以用 Lisp 或 Markdown 格式来构建 prompt，让 Claude 根据用户输入的领域和产品（也可自定义产品特点）直接输出情绪营销语句。用 Lisp 这种编程语言更为凝练和简洁，Markdown 格式的效果也一样。对于 GPT 等模型，在卡片生成这步可能需要一些调整，不稳定，最好自定义 html/css 样式来进行强约束。直接打开 Claude 首页，把上述提示词发送即可初始化，然后进行使用。 3. 控制输出格式（JSON 模式）：控制 Claude 输出的简单方法之一是说明想要的格式，Claude 可以理解并遵循与格式相关的指示，并格式化输出，如 JSON、XML、HTML、Markdown、CSV 等，甚至自定义格式。例如，如果想让 Claude 以 JSON 格式生成一首俳句，可以使用相应的提示。
2025-03-28
claude教程
以下是关于 Claude 的教程： 1. 提示简介：Claude 经过训练成为一个乐于助人、诚实可靠、无害的助手，习惯于进行对话。您可用常规自然语言请求指示它，指示质量对其输出质量影响大，尤其对于复杂任务。 2. Project 功能： 打造真正的个人 AI 助理。 打开 Claude，在左侧菜单栏点击“Projects”。 点击“Create Project”。 填写项目名称并点击“Create Project”。 在“Project Knowledge”下面，点击“Set custom instructions”，填写系统提示词。建议使用 Claude 3.5 Sonnet，逻辑能力更强。打开聊天窗口输入复盘内容，AI 会给出优化建议。 3. 17 岁高中生写的神级 Prompt：将 Claude 强化成满血 o1，如用 Prompt 把 o1 级别的思维链复刻到 Claude 3.5 里，思考逻辑更详细、更像人。Prompt 名为 Thinking Claude，作者是 17 岁的高中生涂津豪，其 Github 地址为：https://github.com/richards199999/ThinkingClaude/tree/main 。
2025-03-24
claude
以下是关于 Claude 的相关信息： 1. 一位 17 岁的高中生涂津豪写了个名为“Thinking Claude”的神级 Prompt，将 Claude3.5 强化得非常强大。它能把 o1 级别的思维链复刻到 Claude3.5 里，使其思考逻辑更详细、更像人，甚至思考过程都跟 o1 一样，还能展开折叠。用这个 Prompt 强化过的 Claude3.5 智能程度、成功率、像人的程度都大幅提升，群友用其创造了如 flappy bird、德州扑克等。您可以在作者的 Github 上查看完整的 Prompt，地址是：https://github.com/richards199999/ThinkingClaude/tree/main 。 2. 预先填充 Claude 的回答：要预先填充 Claude 的回应，只需在进行 API 请求时在 Assistant 消息中包含所需的初始文本。例如：|Role|Good Prompt| |User|Please extract the name,size,price,and color from this product description and output it within a JSON object.<br>请从此产品描述中提取名称、尺寸、价格和颜色，并在 JSON 对象中输出。<br><br><description>The SmartHome Mini is a compact smart home assistant available in black or white for only$49.99.At just 5 inches wide,it lets you control lights,thermostats,and other connected devices via voice or app—no matter where you place it in your home.This affordable little hub brings convenient handsfree control to your smart devices.</description><br><description>SmartHome Mini 是一款紧凑的智能家居助手，有黑色或白色可选，售价仅为$49.99。仅 5 英寸宽，让您可以通过语音或应用程序控制灯光、恒温器和其他连接设备，无论您将其放在家中的哪个位置。这款价格实惠的小中心为您的智能设备带来了便利的免提控制。| |Assistant助手（预先填充）|{ 。在这个例子中，通过以 Assistant 消息开头，我们限制了 Claude 的输出为所请求的 JSON 模式的其余部分。 3. 要求 Claude 进行重写：有时候 Claude 的回答可能不完全准确或符合要求，在以下情况可以要求重写，如响应接近所需但缺乏具体细节或格式、输出未完全遵循初始提示的约束条件、不确定结果是否准确希望 Claude 双重检查。重写在提示包含多个约束时特别有用，请求重写可以强调 Claude 最初忽略的约束的重要性。
2025-03-24
OpenAI o1、Claude Sonnet 3.7、Gemini 2.0 pro 哪个 AI 搜索能力更强？
OpenAI o1、Claude Sonnet 3.7 和 Gemini 2.0 pro 在不同方面具有各自的优势，难以简单地比较哪个的搜索能力更强。 OpenAI o1 推理能力强，适合作为架构师或算法顾问。 Claude Sonnet 3.7 擅长长上下文任务，在快速生成代码与网页设计方面表现出色。 Gemini 2.0 pro 长上下文支持较好（2M Tokens），适合代码反编译与混淆代码分析。 具体的搜索能力表现还会受到应用场景和具体任务的影响。
2025-03-21
claude
以下是关于 Claude 的相关信息： 1. 一位 17 岁的高中生涂津豪写了个名为 Thinking Claude 的神级 Prompt，将 o1 级别的思维链复刻到了 Claude3.5 里，使其智能程度、成功率、像人的程度大幅提升。可以在作者的 Github 上查看完整 Prompt，地址是：https://github.com/richards199999/ThinkingClaude/tree/main 。 2. 预先填充 Claude 的回答：要预先填充 Claude 的回应，只需在进行 API 请求时在 Assistant 消息中包含所需的初始文本。例如：|Role|Good Prompt| |User|Please extract the name,size,price,and color from this product description and output it within a JSON object.<br>请从此产品描述中提取名称、尺寸、价格和颜色，并在 JSON 对象中输出。<br><br><description>The SmartHome Mini is a compact smart home assistant available in black or white for only$49.99.At just 5 inches wide,it lets you control lights,thermostats,and other connected devices via voice or app—no matter where you place it in your home.This affordable little hub brings convenient handsfree control to your smart devices.</description><br><description>SmartHome Mini 是一款紧凑的智能家居助手，有黑色或白色可选，售价仅为$49.99。仅 5 英寸宽，让您可以通过语音或应用程序控制灯光、恒温器和其他连接设备，无论您将其放在家中的哪个位置。这款价格实惠的小中心为您的智能设备带来了便利的免提控制。| |Assistant助手（预先填充）|{ 。 3. 要求 Claude 进行重写：有时候 Claude 的回答可能不完全准确或符合要求，在以下情况可要求重写，如响应接近所需但缺乏细节或格式、输出未完全遵循初始提示的约束条件、不确定结果是否准确希望双重检查。重写在提示包含多个约束时特别有用，请求重写可强调 Claude 最初忽略的约束的重要性。
2025-03-19
openai官方文档
以下是关于 OpenAI 官方文档的相关信息： 对于刚入门学习提示词的朋友，建议先有一个大模型帐号并熟悉与之对话的方式。推荐的国产平替有 。 学习 prompt 必须看 OpenAI 的官方文档，相关链接有： 。 在 OpenAI 官方的说明文档（Documentation）中，为用户提供了若干项策略以帮助更好地使用 ChatGPT。例如策略一：编写清晰的说明，即在询问中包含详细信息以获得更多相关答复。因为大模型无法在有限信息中“猜测”用户意图，所以提问时不要惜字如金，多说一些内容、多提供一些信息能有效提高回复的质量和丰富性。文中还列举了多个例子进行说明。
2025-03-29
openai deep research使用技巧
OpenAI 的 Deep Research 功能能够整合多源信息，进行复杂的信息查询与分析，并生成专业水准的报告，同时详细展示思考和搜索过程。目前，该功能仅支持文本输出，未来还将增加嵌入式图片、数据可视化等功能。使用入口为在 ChatGPT 输入框中选择「Deep Research」模式，输入问题后即可开始体验。 在 OpenAI 推出「Deep Research」功能一天后，Hugging Face 的工程师迅速联合推出了免费开源的版本 Open Deep Research，能自主浏览网页、滚动页面、处理文件，以及基于数据进行计算。使用入口为前往 Demo 网站（opendeepresearch.vercel.app）体验。 Deep Research 让 AI 自动完成多步骤研究任务，快速分析海量信息并生成专业报告，具备自动化信息汇总、文献引用与多领域适用性，适合科研、工程、金融等行业。目前向 Pro 用户开放，未来将扩展至 Plus 和 Team 用户，并提供更强大的功能。 该智能体基于优化版 OpenAI o3 模型，结合网络浏览和 Python 分析能力，实现高效研究，适用于科学、政策、工程等高强度知识工作，也能帮助购物者做复杂决策。Pro 用户已可使用，后续将逐步向 Plus、Team 和企业用户开放。
2025-03-08
openAI的deep research有哪些缺陷
OpenAI 的 Deep Research 存在以下一些缺陷： 1. 具有滞后性，在某些信息上无法做到及时更新。 2. 存在信息混乱的问题，无法完全替代人类的深度思考。
2025-03-03
Monica和Openai的记忆功能是如何让大模型产生记忆的？是什么原理？
大模型的记忆功能实现方式较为复杂，不同的模型可能有所不同。 OpenAI 的模型中，大模型 LLM 扮演了“大脑”的角色，其记忆功能可能通过“Agent = LLM + 规划 + 记忆 + 工具使用”的基础架构来实现。但需要注意的是，对于 ChatGPT 这类模型，实际上其本质上并没有直接的记忆功能。它能理解之前的交流内容，是因为每次将之前的对话内容作为新的输入重新提供给模型。这种记忆功能并非由大型模型直接实现，而是通过在别处进行存储来达成。 如果对话内容过长，可能会影响模型的整体性能。解决这个问题的一个简单方法是启动另一个对话框。对于之前的数据，通常只能进行总结。
2025-03-01
openai
OpenAI 相关信息如下： 模型： OpenAI API 由多种具有不同功能和价位的模型提供支持，还可通过微调针对特定用例对原始基本模型进行有限定制。 具体模型包括：GPT4 Beta（一组改进 GPT3.5 的模型，可理解和生成自然语言或代码）、GPT3.5（一组改进 GPT3 的模型，可理解并生成自然语言或代码）、DALL·E Beta（可在给定自然语言提示的情况下生成和编辑图像的模型）、Whisper Beta（可将音频转换为文本的模型）、Embeddings（可将文本转换为数字形式的模型）、Codex Limited Beta（一组可理解和生成代码的模型，包括将自然语言转换为代码）、Moderation（可检测文本是否敏感或不安全的微调模型）、GPT3（一组可理解和生成自然语言的模型）。 通用人工智能（AGI）计划： 有网络上传播的关于 OpenAI 计划在 2027 年前实现通用人工智能（AGI）的计划的相关文档，内容为各种报道和推文的拼凑猜测。 文档提到 OpenAI 于 2022 年 8 月开始训练一个拥有 125 万亿参数的多模态模型，第一阶段被称为 Arrakis 或 Q，该模型于 2023 年 12 月完成训练，但因高昂推理成本发布被取消，原计划 2025 年发布的 GPT5 取消，Gobi（GPT4.5）被重新命名为 GPT5。 技术栈： 从 GPT、DALL·E 到 Sora，OpenAI 成功跑通了 AGI 的所有技术栈。加州大学伯克利分校计算机科学 PHD、知乎作者 SIY.Z 从技术实现、商业和技术趋势上分析了原因，并尝试预测了 OpenAI 下一步的进展。
2025-02-24
layer_xl_bg2ble.safetensors,layer_xl_transparent_conv.safetensors,vae_transparent_encoder.safetensors这一类是大模型,还是Lora?
layer_xl_bg2ble.safetensors、layer_xl_transparent_conv.safetensors、vae_transparent_encoder.safetensors 这类文件可能是大模型的一部分，也可能是 Lora 模型。 在 AI 模型中： 基础模型（英文名 Checkpoint）是生图必需的，任何生图操作必须要选定一个基础模型才能开始。 Lora 是低阶自适应模型，可以理解为基础模型的小插件，生图时可有可无，但在控制面部、材质、物品等细节方面有明显价值。 同时，VAE 是个编码器，功能类似于滤镜，可调整生图的饱和度。
2025-01-31
encoder是什么？
在大型语言模型中，Encoder 指的是模型的编码器部分，负责对输入的文本序列进行编码，获取其对应的语义表示。 具体来说，大模型中的 Encoder 具有以下几个关键作用： 1. 词嵌入（Word Embedding） 将词语映射为低维密集向量表示，作为模型的输入。 2. 位置编码（Positional Encoding） 引入序列中每个位置的位置信息，使模型能捕捉输入序列的顺序特征。 3. 注意力机制（Attention Mechanism） 通过自注意力层计算输入序列中每个词与其他词的关系，捕捉长程依赖关系。 4. 层叠编码（Layer Stacking） 通过多层 Transformer Encoder 块的堆叠，对输入序列进行深度的特征提取和语义建模。 5. 上下文建模（Context Modeling） 整合输入序列中每个位置词的全局上下文信息，形成其语义表示。 Encoder 的输出是输入序列对应的上下文化语义表示，这些语义表示在后续的预测或生成任务中会被模型的 Decoder 部分利用。在 GPT 等解码器模型中，Encoder 的输出会被 Decoder 进一步处理，生成新的文本序列。 总的来说，Encoder 是大型语言模型的核心部件，对于有效地提取和建模输入序列的语义信息至关重要，是实现语言理解和生成的基础。
2024-04-24