Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

prompt调优是干嘛的

Answer

Prompt 调优是对给大模型输入的原始输入进行优化和改进的过程,具有以下作用和特点:

  1. 帮助模型更好地理解用户需求,并按照特定模式或规则进行响应。
  2. 可以设定特定的角色或场景,如“假设你是一位医生,给出针对这种症状的建议”,后续对话将基于此设定展开。
  3. 有多种有趣的玩法,例如要求模型按照思维链(cot)的思路逻辑回答,或者让模型按照特定格式(如 json)输出,使模型成为特定的输出器。
  4. 提示开发生命周期包括设计初步提示,即制定一个初步的提示,概述任务定义、良好响应的特征以及所需的上下文,并添加规范输入和输出的示例作为改进的起点。
  5. 测试提示时要根据测试用例评估模型的响应与预期输出和成功标准是否一致,使用一致的评分标准,如人工评估、与答案标准比较或基于评分标准的模型判断等,以系统性评估性能。
  6. 自动提示工程方面,有一些相关的重要主题和关键论文,如使用离线逆强化学习生成与查询相关的提示、引入使用大语言模型优化提示的思想、提出基于梯度引导搜索自动创建各种任务提示的方法、作为轻量级微调替代方案的为自然语言生成任务添加可训练连续前缀、提出通过反向传播学习软提示的机制等。
Content generated by AI large model, please carefully verify (powered by aily)

References

Ranger:【AI 大模型】非技术背景,一文读懂大模型(长文)

prompt这个词很多人都听到过,甚至一度还出现过prompt优化师这样的角色。那么prompt是做什么的呢?prompt其实是给到大模型输入的一段原始的输入,能够帮助模型更好地理解用户的需求并按照特定的模式或规则进行响应。对于prompt,比如可以设定“假设你是一位医生,给出针对这种症状的建议”,然后你与大模型后续的对话中,都会按照这个原始设定来展开。这里有个比较有意思的玩法,就是我们可以在prompt的设定中,要求模型按照一定的思路逻辑去回答。比如最近比较火的cot,也就是思维链,也是在prompt这个环节,对于模型的输出进行指导。这里的玩法很多,比如我们还可以让模型按照特定格式的json输出等,这样模型真的就可以变成了一个输出器来使用。

2.Prompt engineering 提示工程

[title]2.Prompt engineering 提示工程[heading1]What is prompt engineering? 什么是提示工程?[heading2]The prompt development lifecycle 提示开发生命周期[content]3.Engineer the preliminary prompt:Next,craft an initial prompt that outlines the task definition,characteristics of a good response,and any necessary context for Claude.Ideally you should add some examples of canonical inputs and outputs for Claude to follow.This preliminary prompt will serve as the starting point for refinement.设计初步提示:接下来,制定一个初步的提示,概述任务定义、良好响应的特征,以及Claude所需的任何上下文。理想情况下,您应该添加一些规范输入和输出的示例供Claude参考。这个初步提示将作为改进的起点。4.Test prompt against test cases:Feed your test cases into Claude using the preliminary prompt.Carefully evaluate the model's responses against your expected outputs and success criteria.Use a consistent grading rubric,whether it's human evaluation,comparison to an answer key,or even another instance of Claude’s judgement based on a rubric.The key is to have a systematic way to assess performance.根据测试用例测试提示:使用初步提示将测试用例输入到Claude中。仔细评估模型的响应与您预期的输出和成功标准是否一致。使用一致的评分标准,无论是人工评估、与答案标准的比较,甚至是基于评分标准的Claude判断的另一个实例。关键是要有一种系统性的评估性能的方式。

自动提示工程师(APE)

本文涉及与提示工程相关的重要主题,即自动优化提示的想法。虽然我们在本指南中没有深入探讨这个主题,但如果您对此主题感兴趣,以下是一些关键论文:[Prompt-OIRL(opens in a new tab)](https://arxiv.org/abs/2309.06553)-使用离线逆强化学习来生成与查询相关的提示。[OPRO(opens in a new tab)](https://arxiv.org/abs/2309.03409)-引入使用LLMs优化提示的思想:让LLMs “深呼吸”提高数学问题的表现。[AutoPrompt(opens in a new tab)](https://arxiv.org/abs/2010.15980)-提出了一种基于梯度引导搜索的方法,用于自动创建各种任务的提示。[Prefix Tuning(opens in a new tab)](https://arxiv.org/abs/2101.00190)-是一种轻量级的fine-tuning替代方案,为NLG任务添加可训练的连续前缀。[Prompt Tuning(opens in a new tab)](https://arxiv.org/abs/2104.08691)-提出了一种通过反向传播学习软提示的机制。

Others are asking
COE团队需要什么AI能力,比如AI辅助编程;AI部署+和调优;AI智能体;AI提示词; OCR识别
COE 团队可能需要以下 AI 能力: 1. AI 辅助编程:虽然 AI CODING 目前适用于小场景和产品的第一个版本,但在复杂应用中可能存在需求理解错误导致产品出错的情况。 2. AI 部署和调优:涵盖服务器创建、搭建微信机器人到引入 coze API 的全过程,包括 Docker 部署、本地运行、RailWay 部署等多种方式。 3. AI 智能体:从最初只有对话框的 chatbot 到有更多交互方式,低代码或零代码的工作流等场景做得较好。例如以证件照为例,实现了相关智能体和交互。创建智能体工作流包括创建、编辑人设、编排设计等步骤。 4. AI 提示词:在编写系统提示词时需要用{{input}}作为参数引入,以使大模型知道需要生成与输入相关的结果。 5. OCR 识别:未提及相关具体内容。 同时,在图像能力方面,支持图片生成、图片识别、图生图等,可选择 Dal3、stable diffusion、replicate、midjourney、CogView3、vision 模型。具有丰富插件,支持个性化插件扩展,已实现多角色切换、文字险、敏感词过滤、聊天记录总结、文档总结和对话、联网搜索等插件。通过上传知识库文件可自定义专属机器人,作为数字分身、智能客服、私域助手使用,基于 LinkAI 实现。
2025-04-09
作为产品经理,如何完成生产级的提示词调优,保证ai功能的上线效果
作为产品经理,完成生产级的提示词调优以保证 AI 功能上线效果可参考以下内容: 1. 明确与大模型对话产品的提示词不同。对于大模型 API,要利用插件预先获取的网页内容变量、提示词和 API 请求参数,拼搭出完整的 API 提示请求,精确引导 API 返回想要的生成结果。 2. 根据 BigModel 官网给出的请求示例,在请求中传递 Model 类型、系统提示词、用户提示词、top_p、temperature 等关键参数。 3. 构建相应的 API 请求内容: 设定系统提示词,定义基础任务。 设定用户提示词,提供具体任务数据,并要求大模型按 JSON 格式返回生成结果。需注意为确保大模型能有效进行内容总结,提示词中使用${}语法动态引用插件获取的网页数据(如标题、描述、正文等),在实际发送 API 请求时,这些变量会被替换为真实的网页内容。 4. 最后,根据文本总结类任务的通常经验与实际调试情况,设定其他 API 所需关键参数。如果缺少参数设定的经验,可以先询问 AI 文本总结类的模型 API 请求,temperature 设定多少合适,再逐步调试效果。 此外,在星流一站式 AI 设计工具中: 1. 提示词用于描绘想生成的画面,支持中英文输入。不同基础模型对输入语言有不同要求。 2. 写好提示词要做到内容准确,包含人物主体、风格、场景特点、环境光照、画面构图、画质等。还可调整负面提示词,利用“加权重”功能让 AI 明白重点内容,使用预设词组、辅助功能(如翻译、删除所有提示词、会员加速等)优化提示词。启用提示词优化后,能帮您扩展提示词,更生动地描述画面内容。
2025-03-11
如何进行提示词调优
以下是进行提示词调优的一些方法: 1. 明确具体的描述:使用更具体、细节的词语和短语来表达需求,避免过于笼统。 2. 添加视觉参考:在提示词中插入相关图片参考,提高 AI 理解意图和细节要求的能力。 3. 注意语气和情感:根据需求,用合适的形容词、语气词等调整整体语气和情感色彩,以生成期望的语境和情绪。 4. 优化关键词组合:尝试不同的关键词搭配和语序,找到最准确表达需求的描述方式。 5. 增加约束条件:为避免意外输出,添加如分辨率、比例等限制性条件。 6. 分步骤构建提示词:将复杂需求拆解为逐步的子提示词,引导 AI 先生成基本结构,再逐步完善。 7. 参考优秀案例:研究 AI 社区流行且有效的范例,借鉴写作技巧和模式。 8. 反复试验、迭代优化:多次尝试不同写法,并根据输出效果反馈持续完善,直至达到理想结果。 此外,在星流一站式 AI 设计工具中: 提示词用于描绘画面,支持中英文输入,不同模型对输入语言有不同要求。 写好提示词要做到内容准确,包含人物主体、风格、场景特点、环境光照、画面构图、画质等。 可调整负面提示词,帮助 AI 理解不想生成的内容。 利用“加权重”功能让 AI 明白重点内容,还可对已有提示词权重进行编辑。 有翻译、删除所有提示词、会员加速等辅助功能。 在 Claude 中: 更明确地编写规则或添加新规则。 在提示词中添加类似示例和规范输出,展示给 Claude 如何正确处理示例。 当 Claude 在一种输入类型上表现良好时,尝试其他输入类型,包括边缘案例。 不断完善提示词,直到在代表性输入组上获得良好性能,建议进行“保留测试”。
2025-03-11
怎么调优
以下是关于大模型 RAG 应用调优的相关内容: 1. 整理知识库文档阶段: 确定知识库包含的文档类型,如政策原文文档、业务积累的 QA、操作指引、产品说明等,并进行预处理。 注重知识库本身质量,因其对最终效果影响重大,是大模型生成回答的原始语料。 优化方向包括: 文档格式:实践中根据场景测试不同格式(如 PDF、docx 等),一般 PDF 效果较好,因其格式信息简洁,对大模型干扰少,但也有说 docx 效果更优的。 文档命名:尽量控制在 10 字左右,涵义简洁明了,避免无意义的数字、符号或缩写。 文档语言:尽量统一为同一种,避免中英文混在一个 chunk 里导致向量化问题。 文档内容:设置清晰的一二级标题,对特殊内容(如图片、表格、公式、超链接、附件、架构图、代码等)进行特殊处理。 构建问答对:能达到更好效果,但耗费人力且需考虑运营成本。需根据具体场景和需求及处理成本实践,找到最适合的方式。 2. Prompt 阶段: 匹配出与问句向量最相似的 top k 个 chunk 后,将匹配文本和问句添加到配置好的 prompt 中提交给 LLM。 进行 prompt 工程,选择最合适的 prompt 模板。 根据相关论文,把 query 放到头部和尾部,把相似度大的文档放到 context 的两端,能提升回答效果。 3. 召回 TopK 阶段: 开源框架检索返回的 Top K 按数据库中的顺序排序,保留原始数据库的上下文结构,但不一定是最优排序。 当索引规模大时,精确度不高,可增加 top k 的大小(如从 10 个增加到 30 个),再用更精确的算法进行 rerank。具体可查看:https://www.zhihu.com/question/628651389/answer/3356678699 4. LLM 生成答案阶段: 最大影响因素是大语言模型本身的性能。 选择大模型时,要在成本和收益间找到最佳平衡点,有些场景无需最好的大模型就能实现不错效果。 有条件可对模型进行微调,使其更匹配自身场景。
2025-03-08
大模型调优
大模型调优的方法主要包括以下几个方面: 1. 更换大模型:例如从 ChatGLM26B 替换成 baichuan213b,针对特定场景,后者性能可能提升一倍左右。 2. 更换 embedding 模型:将默认的 embedding 模型如 LangChain Chatchat 的 m3ebase 替换为 bgelargezh,后者可能更优。 3. 测试不同 Top k 的值:比较 Top 5、Top 10、Top 15 的结果,发现 Top 10 时效果最优。 4. 对文档名称进行处理:人工对文件重命名,上传相同文件构建知识库,同时在构建时勾选【开启中文标题加强】选项,重命名文件对结果提升不明显,但勾选该选项后回答的无关信息减少,效果有所提升。 从产品视角考虑大模型调优,主要从以下两个维度分析问题: 1. Context optimization(上下文优化):所创建的 LLM 应用若需要特定数据、系统和流程等预训练 LLM 中缺失的知识和信息,需进行上下文优化,如企业内部智能问答机器人,应将相关知识提供给大模型,RAG 是解决该问题的技术。 2. LLM optimization(大模型优化):在进行足够的 prompt 工程后,若 LLM 应用在垂直领域表现仍不足或希望输出特定格式风格等稳定性不及预期,可考虑微调,且需与良好的 prompt 工程结合。 大模型的安全保障可通过对齐,也叫指令调优实现,包括监督微调、获取 reward model 与进行强化学习调整输出分布。但即使如 GPT4 和 Claude 等模型已几乎不回复危险问题,Alignment 仍不足以防护所有安全问题,存在越狱现象。LLAMA2 专门使用安全有监督微调确保语言模型安全。强化学习能让模型根据人类反馈调整分布,面对训练分布外数据也可能学会拒绝不当回答。
2025-03-06
提示词调优产品
以下是关于提示词调优产品的相关信息: 针对性技巧: 从用户痛点、技术创新、市场竞争三个维度分析产品的差异化优势,并预测可能面临的发展瓶颈。 “说人话”优化技巧,目的是获得更容易理解的解释,例如用 8 岁小朋友能听懂的比喻解释复杂概念。 细节约束技巧,确保输出符合特定要求,如写一篇有具体要求的美食测评。 资源获取技巧,获得具体可行的工具或方法建议,如为职场人士推荐学习英语口语的 APP 及使用方法和时间分配等。 灵活组合使用这些技巧的要点是提供清晰的背景信息、设定具体的目标和要求、指定期望的输出形式、适时使用追问和反馈优化结果。 相关产品日报: XiaoHu.AI 日报 11 月 15 日: 优化提示词,通过链式思维等技术自动改进提示词,提升 AI 模型回答质量,具有示例增强、标准化、提示重写、预填充内容等功能特点,测试显示多标签分类准确率提升 30%,摘要任务可完全遵循字数要求,若提示缺少示例,Claude 会自动生成合成示例简化提示构建过程。 Context 推出基于“上下文引擎”的 AI 助手 Autopilot,核心功能是无缝集成用户工作流,支持计划文档生成、多步数据分析、财务建模和图表创建等任务,人机协作方面,面对不确定任务时 AI 会主动请求指导,支持任务并行处理,创新点在于在大项目中能“自我复制”生成多个微型代理协作完成复杂任务。 苹果发布 Final Cut Pro 11,新增多项 AI 功能,包括磁性遮罩(AI 自动识别人和物体,无需绿幕实现抠图)、自动生成字幕(语音转字幕,提高效率)、智能适配(裁剪视频为适合社交媒体的格式)、自动色彩增强(优化画面效果)、平滑慢动作(生成额外帧,改善慢动作视频流畅性)、语音去噪(消除背景噪音,提升对话清晰度)。
2025-02-27
PromptEnhancer
以下是关于 PromptEnhancer 的相关信息: PromptEnhancer 是一款自动生成/优化 prompt 的工具。 在对最流行的“AI 提示生成器”的比较分析中,针对“作为一名 IT 学生,为我的高级项目提出想法;我想要关于学生帮助大学学生的想法”这一测试种子提示,PromptEnhancer 在实验中的成绩为 4 胜 0 负。 相关链接:https://flowgpt.com/prompt/sbuYQwUq_8v8fafR5zJuB
2025-04-20
能画技术路线图的prompt
以下是关于能画技术路线图的 prompt 相关内容: Midjourney Bot 的 Prompt 类型: 基本 Prompts:可以只是一个单词、短语或表情符号。 高级 Prompts:包括一个或多个图片 URL、多个文本短语以及一个或多个参数。其中,图片 URL 始终位于 prompt 的最前面,以影响完成结果的风格和内容。提示文字是对希望生成的图像的文本描述,精心编写的提示有助于生成惊艳的图像。参数可以改变生成图片的方式,需放在提示语的末尾。 ComfyUI Flux 与 runway 制作绘画视频: 生成图片:提示词告诉 flux 生成一张技术草图,如 CAD。 绘制的视频:在 runway 里面,使用提示词从空白页面开始逐行创建,并把生成的图片作为尾帧。 草图上色:使用 flux 的 controlNet,depth 固定,目前 Union 版本不建议权重调太高,结束时间也需注意。 Prompt engineering(提示工程): 开发测试用例:定义任务和成功标准后,创建多样化的测试用例,包括典型示例和边界情况,以确保提示具有鲁棒性。 设计初步提示:制定初步提示,概述任务定义、良好响应的特征及必要上下文,添加规范输入和输出的示例供参考。 根据测试用例测试提示:使用初步提示将测试用例输入,评估模型响应与预期输出和成功标准的一致性,使用一致的评分标准进行系统性的性能评估。
2025-04-19
整理会议纪要的prompt
以下是一些关于整理会议纪要的 prompt: 【?会议精要】整理生成高质量会议纪要,保证内容完整、准确且精炼。 会议记录员:将会议浓缩成简明摘要,包括讨论主题、重点内容、行动事项。 CEO 秘书会议纪要:专注于整理和生成高质量的会议纪要,确保会议目标和行动计划清晰明确。需严格遵守信息准确性,不对用户提供的信息做扩写,仅做信息整理,将一些明显的病句做微调。
2025-04-15
作为一个想要使用AI工具提升工作效率的AI小白,我已经学习了怎么编写prompt,接下来我应该学习什么
如果您已经学习了如何编写 prompt ,接下来可以学习以下内容: 1. 理解 Token 限制:形成“当前消耗了多少 Token”的自然体感,把握有效记忆长度,避免在超过限制时得到失忆的回答。同时,编写 Prompt 时要珍惜 Token ,秉承奥卡姆剃刀原理,精简表达,尤其是在连续多轮对话中。 熟练使用中英文切换,若 Prompt 太长可用英文设定并要求中文输出,节省 Token 用于更多对话。 了解自带方法论的英文短语或句子,如“Chain of thought”。 2. 学习精准控制生成式人工智能:重点学习提示词技术,编写更清晰、精确的指令,引导 AI 工具产生所需结果。 探索构建智能体(AI Agents),将工作单元切割开,赋予其特定角色和任务,协同工作提高效率。 在实际应用中遵循准则,如彻底变“懒人”、能动嘴不动手、能让 AI 做的就不自己动手、构建自己的智能体、根据结果反馈调整智能体、定期审视工作流程看哪些部分可用更多 AI 。 3. 若想进一步提升: 学习搭建专业知识库、构建系统知识体系,用于驱动工作和个人爱好创作。 注重个人能力提升,尤其是学习能力和创造能力。 您还可以结合自身生活或工作场景,想一个能简单自动化的场景,如自动给班级孩子起昵称、排版运营文案、安排减脂餐、列学习计划、设计调研问卷等。选一个好上手的提示词框架开启第一次有效编写,比如从基础的“情境:”开始。
2025-04-15
对于用cursor来开发,有没有好好用prompt来使cursor变得更加好用
以下是关于如何用 prompt 使 Cursor 变得更好用的相关内容: 在 prompt 方面,Devin 有一个特别有帮助的文档(https://docs.devin.ai/learnaboutdevin/prompting),它会教您什么样的 prompt 在与 Devin 沟通时最有效,比如明确定义成功的标准,如跑通某个测试或访问某个链接能对得上等。将同样的原则应用到 Cursor 中,会发现 Cursor 变得聪明很多,能自主验证任务完成情况并进行迭代。 Cursor 在生成单测方面表现出色。相对 GPT 等工具,Cursor 解决了上下文缺失和难以实现增量更新的问题。它可以向量化整个代码仓库,在生成单测代码时能同时提供目标模块及对应的上下游模块代码,生成结果更精确。例如,使用适当的 Prompt 能返回基于 Vitest 的结果,调整成本较小。 Cursor 支持使用.cursorrules 文件设定项目的系统提示词,针对不同语言可设定不同的 Prompt。@AIChain 花生做了一个 Cursor 插件解决提示语管理问题,可选择不同的.cursorrules 文件,还可从 https://cursor.directory/ 和 https://cursorlist.com/ 寻找提示词。此外,还有一个提示语小技巧,给已有的提示语追加上特定规则,可使模型在搜索资源和思考时默认使用英语,回复转换成中文,或更灵活地根据提问语言进行回复。
2025-04-14
有什么 prompt engineering 的好材料
以下是一些关于 prompt engineering 的好材料: 文本类 Prompt 网站: Learning Prompt:授人以渔,非常详尽的 Prompt 学习资源,包括 ChatGPT 和 MidJourney,网址: FlowGPT:国外做的最大的 prompt 站,内容超全面,更新快,网址: ChatGPT Shortcut:ChatGPT 提示词网站,提供了非常多使用模板,简单修改即可指定输出,网址: ClickPrompt:轻松查看、分享和一键运行模型,创建 Prompt 并与其他人分享,网址: Prompt Extend:让 AI 帮你自动拓展 Prompt,网址: PromptPerfect:帮你自动优化提示词,你可以看到优化前后的对比,网址: PromptKnit:The best playground for prompt designers,网址: PromptPort(支持中文):AI Prompt 百科辞典,其中 prompts 是聚合了市场上大部分优质的 prompt 的词库,快速的寻找到用户需求 prompt,网址: Prompt Engineering Guide:GitHub 上点赞量非常高的提示工程指南,网址: Claude 3.7 核心提示词相关: 您可以在中找到他们往期开源的更多系统提示词,涵盖了从 Claude 3 Haiku 到现在所有的模型。 一泽 Eze 整理的相关学习资料: Claude 3.5 sonnet 内置提示词详细拆解与解说:https://mp.weixin.qq.com/s/0R4zgH3Gc5TAfAPY1oJU4A Anthropic 的三位顶级提示工程专家聊《如何当好的提示词工程师》:https://mp.weixin.qq.com/s/VP_auG0a3CzULlf_Eiz1sw 往期 Claude AI 核心系统提示词:https://docs.anthropic.com/en/releasenotes/systemprompts Claude 官方用户手册 提示工程指南:https://docs.anthropic.com/en/docs/buildwithclaude/promptengineering/overview Claude 官方提示库:https://docs.anthropic.com/en/promptlibrary/library 基本概念: 简单的提示词可以包含指令、问题等信息,也可以包含上下文、输入或示例等详细信息,以更好地指导模型获得更好的结果。 当使用 OpenAI 的聊天模型时,可以使用 system、user 和 assistant 三个不同的角色来构建 prompt,system 有助于设定 assistant 的整体行为。 提示工程就是探讨如何设计出最佳提示词,用于指导语言模型帮助我们高效完成某项任务。
2025-04-12
智能体能干嘛
智能体(Agent)在人工智能和计算机科学领域是一种能够感知环境并采取行动以实现特定目标的实体,可以是软件程序或硬件设备。 智能体具有以下关键组成部分和功能: 1. 规划:将大型任务分解为更小、可管理的子目标,有效处理复杂任务。 2. 反思和完善:对过去的行为进行自我批评和反思,从错误中吸取教训,完善未来步骤,提高最终结果质量。 3. 记忆:包括短期记忆用于上下文学习,长期记忆用于长时间保留和回忆信息,通常通过外部向量存储和快速检索实现。 4. 工具使用:学习调用外部 API 获取模型权重中缺失的额外信息,包括当前信息、代码执行能力、对专有信息源的访问等。 以下是一些具体的智能体应用示例: 1. 新年心语智能体: 功能包括写祝福语、做对联、预测新年运势、生成 AI 图片、陪用户闲聊等。 由于使用了代码节点访问外部 API,未提供体验。 2. 买买买!?产品买点提炼神器强化版?智能体: 应用场景针对企业和品牌营销团队,尤其是活跃于小红书和抖音的市场推广者。 解决难以精准提炼产品卖点、不能以友好的用户侧表达讲述卖点、社交媒体营销文案和脚本创作无系统等痛点。 主要功能有产品卖点深度挖掘、优质买点文案生成、小红书笔记和抖音脚本生成,所有内容可一键同步到飞书。
2025-01-29
WaytoAGI是干嘛用的
WaytoAGI 网站具有以下功能: 1. 和 AI 知识库对话:您可以在此询问任何关于 AI 的问题。 2. AI 网站:集合了精选的 AI 网站,可按需求找到适合您的工具。 3. AI 提示词:集合了精选的提示词,能复制到 AI 对话网站使用。 4. 知识库精选:将每天知识库的精华内容呈现给大家。 WaytoAGI 图像工具是一款先进的 AI 图像处理工具,主要功能包括去背景、高清增强、智能打光、图生图和文生图,旨在为用户提供便捷、高效的图像编辑体验。访问其官方网站:https://image.waytoagi.com/ 。 通往 AGI 之路「WaytoAGI」是一个由开发者、学者和有志人士等参与的学习社区和开源的 AI 知识库。在这里,您既是知识的消费者,也是知识的创作者。它不仅是一个知识库,还是连接学习者、实践者和创新者的社区,让大家在这里碰撞思想,相互鼓舞,一同成长。
2024-08-10
bibigpt是干嘛的?
BiBiGPT 并非一个常见或特定的知名概念。但 GPT 一般指“生成式预训练变换器”(Generative Pretrained Transformer),是一种大型语言模型(LLM),也是生成式人工智能的重要框架。首个 GPT 由 OpenAI 于 2018 年推出。GPT 模型是基于 Transformer 模型的人工神经网络,在大型未标记文本数据集上进行预训练,并能够生成类似于人类自然语言的文本。截至 2023 年,大多数 LLM 都具备这些特征,并广泛被称为 GPT。而所谓的生成式预训练,其实是机器学习领域一个由来已久的概念。但是,直到 2017 年 Google 推出了 Transformer 模型,我们才见到了如 BERT(2018 年发布)和 XLNet(2019 年发布)这样的大型语言模型的诞生。这些模型都是基于预训练的转换器,但它们并不是为生成文本而设计,而是作为“仅编码器”使用。2018 年,OpenAI 发表了一篇名为《通过生成式预训练提高语言理解能力》的文章,首次介绍了基于转换器的生成式预训练模型(GPT)系统,即我们所说的“GPT1”。
2024-08-09