Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

openai 的偏好微调

Answer

偏好微调（Direct Preference Optimization）是 OpenAI 的一种新的微调方式。其操作方式是通过向模型展示两个不同的输出结果并指出哪个更好，模型将倾向于生成类似更“好”的结果。这种微调方式可以调整模型输出的风格，增加某种类型输出的权重，减少其他类型的权重。

Content generated by AI large model, please carefully verify (powered by aily)

References

OpenAI12场发布会每日记录-Day1-9

音频输入/输出的定价降幅十分显著：4o音频输入：原本是100美元/百万tokens，现降至40美元。4o音频输出：从200美元/百万tokens降至80美元。4o mini音频输入：从原来的100美元降至10美元。4o mini音频输出：从原来的200美元降至20美元。这意味着，开发者可以更具成本效益地利用实时语音交互功能，尤其适用于需要高频率、长时段对话的应用场景。[heading3]⚙️新的微调功能：偏好微调（DPO）[content]偏好微调（Direct Preference Optimization）：这是一种新的微调方式，可以调整模型输出的风格，增加某种类型输出的权重，减少其他类型的权重。操作方式：通过向模型展示两个不同的输出结果并指出哪个更好，模型将倾向于生成类似更“好”的结果。[heading3]?‍?开发者支持更新[content]SDK工具包更新：支持Python SDK，Go和Java的官方SDK也已更新，方便开发者直接调用API。GitHub地址：开发者可以访问[OpenAI Python SDK](https://github.com/openai/openai-python)，以获取最新工具和文档。[heading3]?竞争对手与市场趋势[content]尽管OpenAI在发布新功能方面仍在积极追赶市场趋势，但不少竞争对手已经在语音识别和实时对话交互方面走在前面，尤其是在某些东亚地区的AI软件中。随着定价的逐步降低，OpenAI预计能更广泛地吸引开发者使用实时语音功能，从而进一步扩大其市场份额。未来，OpenAI提到可能将实时语音API整合到AI眼镜等随身工具中，进一步扩展语音交互的应用场景。

文章：Andrej Karpathy 亲授：大语言模型入门

现在，让我们看看在第二阶段我是如何说的，以及我是如何进行比较的。我想简单地再次强调，因为还有第三阶段的微调，你可以选择进入或继续。在第三阶段的微调中，你将使用比较标签。让我向你展示这是什么样子的。我们之所以这样做，是因为在许多情况下，如果你是人工标注者，比较候选答案通常比自己编写答案要容易得多。例如，假设问题是写一首关于回形针的俳句。对于标注者来说，如果要我自己写一首俳句，那可能是一项非常困难的任务。但是，如果你有一些由第二阶段的助手模型生成的候选俳句，作为标注者，你可以查看这些俳句并实际选择一个更好的。在很多情况下，进行比较比生成更容易。第三阶段的微调可以利用这些比较来进一步微调模型。我不会详细讨论这方面的全部数学细节。在OpenAI，这个过程被称为基于人类反馈的强化学习或RLHF。这是一个可选的第三阶段，可以让你在这些语言模型中获得额外的性能。它利用了这些比较标签。我还想向你简要展示一张幻灯片，其中显示了我们向人类提供的一些标签说明。这是OpenAI论文InstructGPT的摘录。它只是向你展示，我们要求人们在标注时要乐于助人、诚实且无害。然而，这些标签文档可能会增长到数十或数百页，并且可能非常复杂。但这只是粗略地描述了它们的样子。

XiaoHu.AI日报

?Xiaohu.AI日报「12月07日」✨✨✨✨✨✨✨✨1⃣️?X平台Grok聊天机器人开放使用：免费用户每2小时可发送10条消息，与Grok互动。支持图像生成功能，使用Flux模型，效果极佳。?[https://x.com/imxiaohu/status/1865408893842751949](https://x.com/imxiaohu/status/1865408893842751949)2⃣️?Runway Act One更新：角色表演与声音转移功能：支持将用户表演的动作、声音转移到其他视频角色中。适用于真人表演与动画角色的动作表情同步或声音配音。演示示例：将唱歌声音转移到视频角色中，保持唇形一致。?[https://x.com/imxiaohu/status/1865340191000629335](https://x.com/imxiaohu/status/1865340191000629335)?更详细介绍：[https://mp.weixin.qq.com/s/0JJQq-ttJE0JUagTpAj77g](https://mp.weixin.qq.com/s/0JJQq-ttJE0JUagTpAj77g)3⃣️?OpenAI发布会第2天亮点：强化微调（RFT）技术强化微调（Reinforcement Fine-Tuning,RFT）提升模型从高中水平到专家水平。核心：使用少量高质量数据优化模型，使其适应法律、医疗等专业领域需求。专业训练目标：明确任务，优化推理路径，实现领域知识高效调用。

Others are asking
OpenAI Operator, Anthropic Claude Coder
以下是关于 OpenAI Operator 和 Anthropic Claude Coder 的相关信息： 2025 年 Agent 领域的发展预测： 从对话助手到行动型智能体是 2025 年 Agent 技术的主流发展方向之一。计算机操作能力取得突破，传统大模型更多充当聊天助手，而 2025 年的突破在于让 Agent 直接“动手”操作电脑和网络环境。 Anthropic 在 2024 年底发布的 Claude 3.5 Sonnet 首次引入“Computer Use”能力，让 AI 像人一样通过视觉感知屏幕并操作鼠标键盘，实现了 AI 自主使用电脑的雏形。 OpenAI 在同期推出了代号“Operator”的 Agent 及其核心模型“计算机使用智能体”（CUA），使 GPT4 获得直接与图形界面交互的能力。CUA 通过强化学习将 GPT4 的视觉能力与高级推理相结合，训练 AI 可像人一样点击按钮、填表、滚动页面等。在 OpenAI 的测试中，CUA 在浏览器任务基准 WebArena 和 WebVoyager 上分别达到 38.1%和 87%的成功率，后者已接近人类水平。 其他相关信息： 宝玉日报 1 月 25 日： Deepseek 提示词框架包含四大模块：任务目的（Purpose）、计划规则（Planning Rules）、格式规则（Format Rules）、输出说明（Output）。 Anthropic 的 Claude 可通过屏幕截图获取计算机视觉信息，计算光标移动的像素坐标，并执行点击、滚动等操作。 OpenAI Operator 利用虚拟主机和 Chrome 浏览器，通过 CUA 实现网页实时操作，支持复杂任务导航。 主要的大语言模型： OpenAI 系统包括 3.5 和 4 等，3.5 模型在 11 月启动了当前的 AI 热潮，4.0 模型在春季首次发布，功能更强大。新的变种使用插件连接到互联网和其他应用程序。Code Interpreter 是一个非常强大的 ChatGPT 版本，可以运行 Python 程序。未为 OpenAI 付费只能使用 3.5。微软的 Bing 使用 4 和 3.5 的混合，通常是 GPT4 家族中首个推出新功能的模型，连接到互联网。 谷歌一直在测试自己的人工智能 Bard，由各种基础模型驱动，最近是 PaLM 2 模型。 Anthropic 发布了 Claude 2，其最值得注意的是有一个非常大的上下文窗口。
2025-04-01
openai官方文档
以下是关于 OpenAI 官方文档的相关信息： 对于刚入门学习提示词的朋友，建议先有一个大模型帐号并熟悉与之对话的方式。推荐的国产平替有 。 学习 prompt 必须看 OpenAI 的官方文档，相关链接有： 。 在 OpenAI 官方的说明文档（Documentation）中，为用户提供了若干项策略以帮助更好地使用 ChatGPT。例如策略一：编写清晰的说明，即在询问中包含详细信息以获得更多相关答复。因为大模型无法在有限信息中“猜测”用户意图，所以提问时不要惜字如金，多说一些内容、多提供一些信息能有效提高回复的质量和丰富性。文中还列举了多个例子进行说明。
2025-03-29
OpenAI o1、Claude Sonnet 3.7、Gemini 2.0 pro 哪个 AI 搜索能力更强？
OpenAI o1、Claude Sonnet 3.7 和 Gemini 2.0 pro 在不同方面具有各自的优势，难以简单地比较哪个的搜索能力更强。 OpenAI o1 推理能力强，适合作为架构师或算法顾问。 Claude Sonnet 3.7 擅长长上下文任务，在快速生成代码与网页设计方面表现出色。 Gemini 2.0 pro 长上下文支持较好（2M Tokens），适合代码反编译与混淆代码分析。 具体的搜索能力表现还会受到应用场景和具体任务的影响。
2025-03-21
openai deep research使用技巧
OpenAI 的 Deep Research 功能能够整合多源信息，进行复杂的信息查询与分析，并生成专业水准的报告，同时详细展示思考和搜索过程。目前，该功能仅支持文本输出，未来还将增加嵌入式图片、数据可视化等功能。使用入口为在 ChatGPT 输入框中选择「Deep Research」模式，输入问题后即可开始体验。 在 OpenAI 推出「Deep Research」功能一天后，Hugging Face 的工程师迅速联合推出了免费开源的版本 Open Deep Research，能自主浏览网页、滚动页面、处理文件，以及基于数据进行计算。使用入口为前往 Demo 网站（opendeepresearch.vercel.app）体验。 Deep Research 让 AI 自动完成多步骤研究任务，快速分析海量信息并生成专业报告，具备自动化信息汇总、文献引用与多领域适用性，适合科研、工程、金融等行业。目前向 Pro 用户开放，未来将扩展至 Plus 和 Team 用户，并提供更强大的功能。 该智能体基于优化版 OpenAI o3 模型，结合网络浏览和 Python 分析能力，实现高效研究，适用于科学、政策、工程等高强度知识工作，也能帮助购物者做复杂决策。Pro 用户已可使用，后续将逐步向 Plus、Team 和企业用户开放。
2025-03-08
openAI的deep research有哪些缺陷
OpenAI 的 Deep Research 存在以下一些缺陷： 1. 具有滞后性，在某些信息上无法做到及时更新。 2. 存在信息混乱的问题，无法完全替代人类的深度思考。
2025-03-03
Monica和Openai的记忆功能是如何让大模型产生记忆的？是什么原理？
大模型的记忆功能实现方式较为复杂，不同的模型可能有所不同。 OpenAI 的模型中，大模型 LLM 扮演了“大脑”的角色，其记忆功能可能通过“Agent = LLM + 规划 + 记忆 + 工具使用”的基础架构来实现。但需要注意的是，对于 ChatGPT 这类模型，实际上其本质上并没有直接的记忆功能。它能理解之前的交流内容，是因为每次将之前的对话内容作为新的输入重新提供给模型。这种记忆功能并非由大型模型直接实现，而是通过在别处进行存储来达成。 如果对话内容过长，可能会影响模型的整体性能。解决这个问题的一个简单方法是启动另一个对话框。对于之前的数据，通常只能进行总结。
2025-03-01
热点的大模型微调蒸馏工具有哪些
以下是一些热点的大模型微调蒸馏工具： FLUX.1：包括 FLUX.1（可商用，为本地开发和个人使用定制，生成速度快，内存占用小，在 Apache 2.0 许可下公开提供，支持在 Replicate、fal.ai 和 Comfy UI 等平台使用，且支持用户根据自己数据集微调）。其训练参数高达 120 亿，在图像质量、提示词跟随等多方面超越流行模型，工作原理基于混合架构，结合变换器和扩散技术。 基于阿里云 PAI 平台：可复现 R1 蒸馏及蒸馏训练模型过程。部署 32b 的蒸馏模型展示效果，包括模型部署（如选中模型卡片后的操作、选择 vLLM 部署、涉及竞价系统等）、蒸馏数据获取（在本地 python 环境或 notebook gallery 建立实例执行代码获取蒸馏数据集）等。 DeepSeek：PaaS 平台支持多机分布式部署，满足推理性能要求，能一站式完成模型蒸馏。可登录 Pad 控制台通过 model gallery 进行部署，如 Deepseek R1 模型，可选择 SG 浪或 Vim 推理框架，根据资源出价部署，部署后可在模型在线服务 EAS 查看状态。还介绍了模型 API 调用、服务关停、蒸馏概念、应用场景及部署实操等。
2025-04-13
deepseek v3微调
以下是关于 Deepseek V3 微调的相关信息： 云舒文章总结卡 2.0 提示词全面支持 Deepseek V3，效果媲美 Claude3.7。V3 需要为 0324 更新的版本，DS 官网及 API 已更新，如调用其它平台 API 需要查看 DS 版本号。提示词复制链接：。横版为 1080 x 800 卡片提示词，竖版为 750 x 不限高卡片提示词。 各平台均需下载 html 文件，打开后才能查看真实效果，平台自带预览因兼容性问题无法正常展示效果。Claude 使用平台包括 Claude3.7 官网、API、Cursor，使用时需要下载为 HTML 文件打开查看效果。Deepseek 使用平台包括 Deepseek 官网、API（V3 需要为 0324 更新的版本），Deepseek 需要复制代码到 html 文件里，然后保存进行查看。 关于智能纪要，会带着大家复现模型的蒸馏和微调，并讲解相关知识。用 Deepseek RE Zero 蒸馏出带思考的数据，基于 Deepseek V3 微调，进行冷启动，再做强化学习，还从非公布模型提取微调数据，加上人类偏好，最终形成 R1。Deepseek R1 反过来蒸馏数据微调 V3，形成互相帮助的局面。 北京时间 00:30 至 08:30 期间，DeepSeek API 价格大幅下调，DeepSeekV3 降至原价的 50%。
2025-04-12
有哪些针对CoT能力的微调工具
以下是一些针对 CoT 能力的微调工具： 1. Selfconsistency CoT：使用手动设计的 Prompt 生成采样一组不同的推理路径，再通过“多数投票”找到推理步骤中“最一致”的路径，使用这条解码路径驱动原始的贪心解码方式来提示 CoT 性能。 2. MMCoT：侧重使用微调方法嵌入 CoT，通过将语言和图像合并在一个包含推理生成与答案推理的两阶段的框架中，使用微调大模型赋予输入多模态 CoT 的能力。 3. GoTInput 方法：通过对 CoT 生成的思维图进行抽取构建三元组，并使用 GNN 将文本、图像与 CoT 统一，从而生成包含 CoT 信息的最终答案。 4. VCoT：解决了一个输出多模态的问题，通过以生成图片的“标题”以及识别核心关注点作为图像生成的启动过程，通过递归的方式填充图像信息，从而实现输出多模态。 此外，在将 DoT 扩展到预训练的扩散语言模型 Plaid 1B 并在更复杂的推理任务上进行评估时，自回归模型和扩散模型在使用 CoT 或 DoT 进行微调时都显示出显著提高的性能。在微调 Plaid 1B 时，也探索了几种替代方案。 在强化学习驱动的合成数据生成与模型优化流程中，也涉及到 CoT 的相关应用和优化，如初始 CoT 生成、CoT 存储等。
2025-04-12
本地部署大模型，如何微调建立本地知识库
以下是关于本地部署大模型并微调建立本地知识库的详细步骤： 一、使用 AnythingLLM 进行本地知识库搭建 1. 安装 AnythingLLM 安装地址：https://useanything.com/download 安装完成后进入配置页面，主要分为三步： 第一步：选择大模型 第二步：选择文本嵌入模型 第三步：选择向量数据库 2. 构建本地知识库 在 AnythingLLM 中创建自己独有的 Workspace 与其他项目数据隔离。 上传文档并在工作空间中进行文本嵌入。 选择对话模式，提供了 Chat 模式（大模型根据训练数据和上传文档数据综合给出答案）和 Query 模式（大模型仅依靠文档中的数据给出答案）。 二、张梦飞的全本地部署教程 1. 部署大语言模型 下载并安装 Ollama 点击进入，根据电脑系统，下载 Ollama：https://ollama.com/download 下载完成后，双击打开，点击“Install” 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 下载 qwen2:0.5b 模型 如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制相关命令行，粘贴进入，点击回车。 三、智能纪要中的相关内容 在智能纪要中，许键介绍了模型 API 调用方法与知识库创建，包括获取 API key 位置及调用设置，详细讲解了创建 Rag 应用（知识库）流程，如上传非结构化文件、数据解析、切分段落等操作，并回答了诸多问题。同时还涉及工作流创建、模型能力及相关问题的探讨，以及通义千问相关应用及明天课程安排交流等内容。 总之，本地部署大模型并建立本地知识库需要按照上述步骤进行操作和配置，同时不断实践和探索，以达到理想的效果。
2025-04-10
如何做 deepseek 微调
要进行 DeepSeek 微调，以下是一些相关的知识和步骤： 1. 模型蒸馏微调：会带着大家复现模型的蒸馏和微调，并讲解相关知识。用 Deepseek RE Zero 蒸馏出带思考的数据，基于 Deepseek V3 微调，进行冷启动，再做强化学习，还从非公布模型提取微调数据，加上人类偏好，最终形成 R1。 2. 本地部署介绍：如果拥有云服务器，可以进行本地部署，了解满血版本地部署的实际情况。 3. 免费额度说明：在 freely.aliyun.com 可领取 500 元免费额度，但有使用限制，不能部署满血版和较大的增流模型。 4. 平台服务差异：了解 DLC、DSW 和 EAS 等模型部署平台服务的差别。 5. 对于微调的全过程，建议阅读 Unsloth 笔记本和 HuggingFace 的《如何微调开放式 LLMs》，也可以使用《如何在一小时内阅读论文》作为指南。 6. 更加完善的训练说明，可直接阅读官方论文：DeepSeekAI《DeepSeekR1:Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》https://arxiv.org/html/2501.12948
2025-04-08
怎么本地部署ai模型，并进行微调
以下是本地部署 AI 模型并进行微调的主要步骤： 1. 选择合适的部署方式：包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源：确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础：可以使用开源的预训练模型如 BERT、GPT 等，也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练：根据具体应用场景对预训练模型进行微调训练，优化模型结构和训练过程以提高性能。 5. 部署和调试模型：将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护：大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 此外，关于本地部署还有以下相关内容： 如果拥有云服务器如何进行本地部署，以及满血版本地部署的实际情况。 在 freely.aliyun.com 可领取 500 元免费额度，但有使用限制，不能部署满血版和较大的增流模型。 介绍了 DLC、DSW 和 EAS 等模型部署平台服务的差别。 会带着大家复现模型的蒸馏和微调，并讲解相关知识。 PaaS 平台支持多机分布式部署，满足推理性能要求，使用独占资源和专有网络，能一站式完成模型蒸馏。 登录 Pad 控制台，通过 model gallery 进行部署，如 Deepseek R1 模型，可选择 SG 浪或 Vim 推理框架，根据资源出价，部署后可在模型在线服务 EAS 查看状态。 介绍了模型 API 的调用方法，包括查找位置、获取 token 等，强调使用后要及时停止或删除服务以避免持续付费。 总的来说，部署和训练自己的 AI 模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。
2025-03-27
哪个智能体能够根据用户的购物历史、浏览行为和偏好，提供个性化的产品推荐。
以下智能体能够根据用户的购物历史、浏览行为和偏好提供个性化的产品推荐： 1. 电子商务网站：通过收集用户的购物历史和浏览习惯等数据，使用机器学习和数据挖掘技术进行分析，从而推荐相似产品。 2. 基于人工智能的语音助手：可以分析用户行为、偏好以及历史购买记录，为用户提供更个性化的商品推荐，提升购物体验。 3. 中小企业：利用 AI 分析客户行为数据，包括购买历史、浏览记录、反馈等，基于分析结果生成个性化的产品推荐和服务。 4. 扣子模板中的个性化推荐引擎：利用人工智能和机器学习算法，根据用户的历史行为和偏好，实时推荐最相关的产品或服务，以提升转化率。
2024-12-20