Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

如何深入浅出的讲解Transformer

Answer

Transformer 的工作流程可以通过一个简单的例子来解释，比如将英文句子“I am a student”翻译成中文：

  1. 输入嵌入（Input Embeddings）：将每个单词映射为一个向量，如将“I”映射为一个 512 维的向量。
  2. 位置编码（Positional Encodings）：由于 Transformer 没有递归或卷积等捕获序列顺序的结构，所以需要给每个词位置加上位置编码，让模型知道词语的相对位置。
  3. 编码器（Encoder）：输入序列的嵌入向量和位置编码相加后被送入编码器层。编码器由多个相同的层组成，每层有两个核心部分，一是多头注意力机制（Multi-Head Attention）用于捕捉单词间的依赖关系，二是前馈神经网络（Feed-Forward NN）对 attention 的结果进行进一步编码。
  4. 解码器（Decoder）：编码器的输出被送入解码器层。解码器也是由多个相同层组成，每层除了编码器组件外，还有一个额外的注意力模块，对编码器的输出序列建模依赖关系。
  5. 输出嵌入（Output Embeddings）：解码器最后一层的输出被映射为输出单词概率分布，例如生成单词“我”“是”等的概率。
  6. 生成（Generation）：基于概率分布，以贪婪或 beam search 等解码策略生成完整的输出序列。

此外，aaronxic 从自己实际入坑的经验出发，总结梳理了新手友好的 transformer 入坑指南，计划从以下五个方面进行介绍：

  1. 算法 1：NLP 中的 transformer 网络结构。
  2. 算法 2：CV 中的 transformer 网络结构。
  3. 算法 3：多模态下的 transformer 网络结构。
  4. 训练：transformer 的分布式训练。
  5. 部署：transformer 的 tvm 量化与推理。

同时，aaronxic 还针对 perplexity 指标进行了介绍，会先从大家熟悉的 entropy 指标开始，逐步介绍针对自然语言的改进版 N-gram Entropy 指标，最后介绍基于此改进的 perplexity 指标。

Content generated by AI large model, please carefully verify (powered by aily)

References

问：能通过简单易懂的方法跟我讲一下 transform 的工作流程吗？

当然可以，让我用一个简单的例子来解释一下Transformer的工作流程：假设我们有一个英文句子"I am a student"需要翻译成中文。Transformer的工作方式如下：1.输入嵌入（Input Embeddings）首先，将每个单词映射为一个向量，即单词嵌入（word embeddings）。例如"I"映射为一个512维的向量。2.位置编码（Positional Encodings）因为Transformer没有递归或卷积等捕获序列顺序的结构，所以需要给每个词位置加上位置编码，使模型知道词语的相对位置。3.编码器（Encoder）输入序列的嵌入向量和位置编码相加后被送入编码器层。编码器由多个相同的层组成，每层有两个核心部分：a）多头注意力机制（Multi-Head Attention）捕捉单词间的依赖关系。b）前馈神经网络（Feed-Forward NN）对attention的结果进行进一步编码。4.解码器（Decoder）编码器的输出被送入解码器层。解码器也是由多个相同层组成，每层除了编码器组件外，还有一个额外的注意力模块，对编码器的输出序列建模依赖关系。5.输出嵌入（Output Embeddings）解码器最后一层的输出被映射为输出单词概率分布。例如生成单词"我"、"是"等概率。6.生成（Generation）基于概率分布，以贪婪或beam search等解码策略生成完整的输出序列。

（1）Perplexity指标究竟是什么?

大家好，我是aaronxic，大家可以叫我小A。最近由于项目需要开始关注transformer相关的进展，结果眼花缭乱的工作让大脑计算存储都严重溢出。围绕transformer相关的进展日新月异，难怪陆奇都说都有点赶不上大模型时代的狂飙速度。网上不乏大量优秀文章介绍transformer的方方面面，观点非常有insight，分析也极尽的详实。但是从新手角度看仍然希望有这样的transformer上手资料内容覆盖相对较全。能把transformer相关的算法、训练和部署方法一齐串讲，让新手快速建立该领域的know-how详略得当，兼顾bottom-up和top-down。对容易被大部分文章忽略的细节bottom-up详细理清逻辑链，对大量看似独立但又相互关联的知识进行top-down梳理。笔者小A从自己实际入坑的经验出发，尝试总结梳理出新手友好的transformer入坑指南。一方面能倒逼自己理清知识脉络，另一方面希望能让后面的新同学少走弯路，更快拿到自己想要的知识。本系列计划从以下五个方面对transformer进行介绍算法1:NLP中的transformer网络结构算法2:CV中的transformer网络结构算法3:多模态下的transformer网络结构训练:transformer的分布式训练部署:transformer的tvm量化与推理由于笔者小A并没有亲手撸过上述内容的所有细节，大部分是通过研究代码和精读优秀文章的方式总结而来，本质上是个拾人牙慧的知识搬运工，所以终究是纸上谈兵。因此希望各方有实际经验的大佬猛锤，思维碰撞才生火花，真理越辩越明。每个方面可能由若干篇文章组成，如果对某些部分感兴趣可以关注小A，后续会逐步更新相应章节。接下来是本系列的第一篇，侧重介绍NLP中最常用的perplexity指标究竟是什么含义本文会先从大家熟悉的entropy指标开始，逐步介绍针对自然语言的改进版N-gram Entropy指标，最后介绍基于此改进的perplexity指标。

aaronxic的Transformer 101系列

|标题|备注|作者|链接|发布日期|附件(1)|单选||-|-|-|-|-|-|-||Perplexity指标究竟是什么?|笔者小A从自己实际入坑的经验出发，尝试总结梳理出新手友好的transformer入坑指南。一方面能倒逼自己理清知识脉络，另一方面希望能让后面的新同学少走弯路，更快拿到自己想要的知识。<br>本系列计划从以下五个方面对transformer进行介绍<br>算法1:NLP中的transformer网络结构<br>算法2:CV中的transformer网络结构<br>算法3:多模态下的transformer网络结构<br>训练:transformer的分布式训练<br>部署:transformer的tvm量化与推理|[aaronxic](https://www.zhihu.com/people/aaronxic)|[（1）Perplexity指标究竟是什么?](https://ywh1bkansf.feishu.cn/wiki/E1pjwy9OMirKTdkFQDEcDDlfnTh)|2023/07/05||||初探LLM基座模型|本篇内容主要介绍LLM基座模型里常见的3种transformer架构，encoder-only，encoder-decoder和decoder-only|[aaronxic](https://www.zhihu.com/people/aaronxic)|[（2）初探LLM基座模型](https://ywh1bkansf.feishu.cn/wiki/UU9pwtOFtiKIqAkQiSVc3Zdun7e)|2023/07/06||||ChatBot是怎么炼成的?|本文介绍了LLM基座大模型下游应用ChatBot的研发过程。在介绍ChatBot之前，作者先介绍了LLM在辅助编程方面的应用，主要包括Codex和AlphaCode两个奠基性工作。Codex提出了编程数据集和pass@k指标，并采用了2阶段训练方式。文章还介绍了Codex的局限性和辅助编程问题定义。|[aaronxic](https://www.zhihu.com/people/aaronxic)|[（3）ChatBot是怎么炼成的?](https://ywh1bkansf.feishu.cn/wiki/HRnLw588DiTDLPkSTXCcKit8nbD)|2023/07/08|||[heading1]子页面目录

Others are asking
什么是Transformer，它的工作流程是什么样
Transformer 是一种在自然语言处理中广泛应用的模型，其工作流程如下： 1. 输入嵌入（Input Embeddings）：将每个单词映射为一个向量，即单词嵌入（word embeddings）。例如，“I”映射为一个 512 维的向量。 2. 位置编码（Positional Encodings）：由于 Transformer 没有递归或卷积等捕获序列顺序的结构，所以需要给每个词位置加上位置编码，使模型知道词语的相对位置。 3. 编码器（Encoder）：输入序列的嵌入向量和位置编码相加后被送入编码器层。编码器由多个相同的层组成，每层有两个核心部分： 多头注意力机制（MultiHead Attention）：捕捉单词间的依赖关系。 前馈神经网络（FeedForward NN）：对 attention 的结果进行进一步编码。 4. 解码器（Decoder）：编码器的输出被送入解码器层。解码器也是由多个相同层组成，每层除了编码器组件外，还有一个额外的注意力模块，对编码器的输出序列建模依赖关系。 5. 输出嵌入（Output Embeddings）：解码器最后一层的输出被映射为输出单词概率分布。例如生成单词“我”“是”等概率。 6. 生成（Generation）：基于概率分布，以贪婪或 beam search 等解码策略生成完整的输出序列。 注意力机制是 Transformer 最关键的创新，允许模型捕获长距离依赖关系。多头注意力可并行计算，因此高效。残差连接和层归一化则有助于优化网络。整体上，Transformer 无递归和卷积结构，计算并行化程度高，更适合并行加速。 位置编码方面，Transformer 通过一种称为位置编码的创新方法绕过了语序理解的障碍。其思路是将输入序列中的所有单词（如一个英语句子）在每个单词后面加上一个数字，表明它的顺序。从概念上讲，把理解语序的重担从神经网络的结构转移到数据本身。起初，在对 Transformer 进行任何数据训练之前，它并不知道如何解释这些位置编码。但是随着模型看到越来越多的句子和它们的编码，它学会了如何有效地使用它们。最初的作者使用正弦函数来进行位置编码，而不是简单的整数 1、2、3、4，但要点是相同的。将语序存储为数据，而不是靠网络结构，这样神经网络就更容易训练了。
2025-03-21
transformer是通往AGI的必经之路吗？什么是世界模型，当前有哪些进展
Transformer 并非通往 AGI 的必经之路。在已知的 token space 中，Transformer 符合一些条件，但在更通用的场景中不太符合。AI 本质包含一堆 scaling law，一个值得被 scale up 的架构是基础，且架构要支持不断加入更多数据。当前在数据方面，如限定问题的数据生成有进展，但通用问题还没有完全的解法。 世界模型方面，目前的研究正在以指数级别的速度增长。对于语言这种有结构、有规则的指令系统，其逻辑受指向描述变化，如早期语言模型建模中用到的 RNN、LSTM 及当前 LLM 的 Transformer 模型结构，都是对语言序列性所体现逻辑结构的适配。同时也在思考是否存在其他形式的符号化表征及相应的建模结构，以及对于非碳基生物语言的使用情况等。未来通往 AGI 的道路并非简单，需要探寻 RL 与 LLM 的本质普遍性。
2025-03-16
Transformer模型
Transformer 模型是一种基于注意力机制的深度学习模型，由 Vaswani 等人在论文《Attention is All You Need》中提出，用于处理序列到序列的任务，如机器翻译、文本摘要等。其原理主要包括以下几个关键点： 1. 自注意力机制：能够同时考虑输入序列中所有位置的信息，而非像循环神经网络或卷积神经网络一样逐个位置处理。通过自注意力机制，模型可根据输入序列中不同位置的重要程度，动态分配注意力权重，从而更好地捕捉序列中的关系和依赖。 2. 位置编码：由于自注意力机制不考虑输入序列的位置信息，为使模型能够区分不同位置的词语，Transformer 模型引入了位置编码。位置编码是一种特殊的向量，与输入词向量相加，用于表示词语在序列中的位置信息。位置编码通常基于正弦和余弦函数计算得到的固定向量，可帮助模型学习到位置信息的表示。 3. 多头注意力机制：通过引入多头注意力机制，可以并行地学习多个注意力表示，从不同的子空间中学习不同的特征表示。每个注意力头都是通过将输入序列线性变换成查询、键和值向量，并计算注意力分数，然后将多个头的输出拼接在一起得到最终的注意力表示。 4. 残差连接和层归一化：在每个子层（SelfAttention 层和前馈神经网络层）的输入和输出之间都引入了残差连接，并对输出进行层归一化。残差连接可缓解梯度消失和梯度爆炸问题，使得模型更容易训练和优化；层归一化可加速训练过程，并提高模型的泛化能力。 5. 位置感知前馈网络：在每个注意力子层之后，Transformer 模型还包含了位置感知前馈网络，它是一个两层的全连接前馈神经网络，用于对注意力表示进行非线性转换和映射。位置感知前馈网络在每个位置独立地进行计算，提高了模型的并行性和计算效率。 Transformer 模型主要由两大部分组成：编码器和解码器。每个部分都是由多个相同的层堆叠而成，每层包含了多头注意力机制和位置全连接前馈网络。 编码器可以理解为将自然语言转换成向量文本，以模型内的既有参数表示。这些参数包含了原始信息，同时也融合了序列内元素间的相互关系。例如，输入“我喜欢猫”，将自然语言转换成词嵌入向量：我>，经过自注意力机制，输出编码器输出一个序列的向量，表示对输入句子的理解。 解码器基于编码器的输出和之前生成的输出逐步生成目标序列，也就是把向量文本重新转化成自然语言。例如，目标生成中文句子“我喜欢猫”，初始输入为解码器接收一个开始符号，用，对应“猫”。这是一个简单的复现概念，当模型得到匹配度高的参数时，它就会一个词一个词地判断需要输出的语言文本。
2025-03-14
Transformer 架构
Transformer 架构主要由编码器（Encoder）和解码器（Decoder）两大部分组成。 编码器可以将自然语言转换成向量文本，其内部参数包含了原始信息以及序列内元素间的相互关系。例如，输入“我喜欢猫”，会将自然语言转换成词嵌入向量，如“我”对应，然后通过自注意力机制输出一个表示对输入句子理解的向量序列。 解码器基于编码器的输出和之前生成的输出逐步生成目标序列，将向量文本重新转化成自然语言。例如生成中文句子“我喜欢猫”，解码器接收开始符号，然后逐步根据编码器输出和已生成的词决定生成后续的词。 Transformer 是一种使用注意力机制的编码器解码器模型，其模型架构使得它可以利用多元化的优势，同时处理大量数据，有助于提高机器翻译等应用程序的性能。 此外，Transformer 架构能够并行处理大量数据吞吐，且满足 scaling law，在各个模态和技术栈具有优势，被 OpenAI 广泛使用。使用同样的架构可以复用模型的参数来引导不同技术栈的训练，以及使用一套 infra 框架训练不同的模型。
2025-03-14
transformer
Transformer 是一种深度学习模型，其核心思想是“Attention is all you need”，来源于 2017 年 Google Brain 团队发布的同名论文，主要用于处理序列数据，包括热门的 NLP 任务，完全基于注意力机制，不使用传统的 RNN 或 CNN 计算架构。 其工作流程如下： 1. 输入嵌入：将每个单词映射为一个向量，即单词嵌入。例如“ I ”映射为一个 512 维的向量。 2. 位置编码：由于 Transformer 没有捕获序列顺序的结构，需给每个词位置加上位置编码，使模型知道词语的相对位置。 3. 编码器：输入序列的嵌入向量和位置编码相加后被送入编码器层。编码器由多个相同的层组成，每层有两个核心部分，多头注意力机制捕捉单词间的依赖关系，前馈神经网络对 attention 的结果进行进一步编码。 4. 解码器：编码器的输出被送入解码器层。解码器也是由多个相同层组成，每层除了编码器组件外，还有一个额外的注意力模块，对编码器的输出序列建模依赖关系。 5. 输出嵌入：解码器最后一层的输出被映射为输出单词概率分布。例如生成单词“我”“是”等概率。 6. 生成：基于概率分布，以贪婪或 beam search 等解码策略生成完整的输出序列。 Transformer 模型用途广泛，可以用来翻译文本、写诗、写文章，甚至生成计算机代码。像 AlphaFold 2、GPT3、BERT、T5、Switch、Meena 等强大的自然语言处理（NLP）模型都建立在 Transformer 基础之上。如果想在机器学习，特别是自然语言处理方面与时俱进，至少要对 Transformer 有一定了解。
2025-03-13
Transformer是什么？
Transformer 是一种注意力模型，也被称为变形金刚模型。它源于 Google 团队在 2017 年发布的论文《Attention is All Your Needs》。 Transformer 是一种深度学习模型，核心思想是“Attention is all you need”。其主要用于处理序列数据，包括当下热门的自然语言处理（NLP）任务。与传统模型不同，Transformer 完全基于注意力机制，不依赖传统的循环神经网络（RNN）或卷积神经网络（CNN）的计算架构。 基于 Transformer 的模型众多，例如最流行的 BERT，它是“来自 Transformer 的双向编码器表示”的缩写。BERT 经过在庞大文本语料库上的训练，已成为自然语言处理的通用模型，可用于文本摘要、问答、分类、命名实体识别、文本相似度、攻击性信息/脏话检测、理解用户查询等一系列任务。 此外，Transformer 不仅在自然语言处理领域表现出色，还在自然语言处理之外的领域掀起浪潮，如作曲、根据文本描述生成图像以及预测蛋白质结构。像 ChatGPT 这样的模型在闲聊中也能展现出更多的世界知识和某种程度的推理能力，能够更好地理解人类语言的含义和上下文，并生成更自然流畅的语言表达。
2025-03-06
数字人讲解产品
以下是关于数字人讲解产品的相关内容： 电商方面： 1. 添加产品/介绍背景：若有自己的视频/图片素材可用，若无，可根据搜索添加。 2. 扣像结合背景：在剪映中把数字人扣下，导入视频，点击画面选择抠像，点击智能抠像，调整大小和位置。 3. 添加字幕和音乐：智能识别字幕，可搜索或手动添加喜欢的音乐。最终形成所需视频，可用于带货或讲解产品，也能应用于直播（直播可能收费，短视频可通过购买邮箱注册使用免费时长或直接购买会员版）。 XiaoHu.AI 日报 1 月 14 日相关： 1. 无需真人模特，上传产品图片，数字人即可手持产品进行口播展示。 2. 支持语音和口型同步，动作、姿势可定制，提供 1000+多国家数字人模特。 3. 覆盖全球 28+种语言，能快速生成产品宣传视频，省去拍摄烦恼。测试视频效果接近成熟，嘴型部分仍需微调。在线体验：
2025-04-11
我有一份青年创新讲稿，想用自己的数字形象和我自己的声音讲解，背景要做一些和讲稿内容相符的视频。什么工具最称手呢？
以下是一些适合您需求的工具： 1. HeyGen：这是一个 AI 驱动的平台，能创建逼真的数字人脸和角色。它运用深度学习算法生成高质量肖像和角色模型，适用于游戏、电影和虚拟现实等领域。 2. Synthesia：一个 AI 视频制作平台，允许创建虚拟角色并进行语音和口型同步，支持多种语言，可用于教育视频、营销内容和虚拟助手等场景。 3. DID：一家提供 AI 拟真人视频产品服务和开发的公司，只需上传人像照片和输入要说的内容，平台的 AI 语音机器人会自动转换成语音，然后合成逼真的会开口说话的视频。 此外，还有以下工具供您参考： 1. 开源且适合小白用户的工具：具有一键安装包，无需配置环境，简单易用。其功能包括生成数字人视频，支持语音合成和声音克隆，操作界面中英文可选，系统兼容 Windows、Linux、macOS，模型支持 MuseTalk（文本到语音）、CosyVoice（语音克隆）。使用时需下载 8G+3G 语音模型包，启动模型即可。相关链接：GitHub： 2. Google Veo 2：能生成逼真的 Vlog 视频，效果接近真实，几乎难以分辨，适合创作和内容制作。相关链接： 请注意，这些工具的具体功能和可用性可能会随时间和技术发展而变化。在使用时，请确保遵守相关使用条款和隐私政策，并注意对生成内容的版权和伦理责任。
2025-04-02
详细讲解一下ragflow框架，同时对比一下ragflow与常规知识库有什么优势，在graphrag的实现方面ragflow又是怎么做的？
RAG（检索增强生成）是一种有效的解决方案，下面为您详细讲解： RAG 工作流程： 1. 检索（Retrieval）：如同在图书馆中，系统会从知识库或文档集合中找出与用户问题相关的内容。 2. 增强（Augmented）：对检索到的信息进行筛选和优化，挑出最相关和有用的部分。 3. 生成（Generation）：将整合的信息生成自然流畅、易于理解的回答。 RAG 类似于一个超级智能的图书馆员，综合起来： 1. 检索：从庞大知识库中找到相关信息。 2. 增强：筛选优化确保找到最相关部分。 3. 生成：整合信息给出连贯回答。 RAG 的优势： 1. 成本效益：相比训练和维护大型专有模型，实现成本更低。 2. 灵活性：能利用多种数据源，包括结构化和非结构化数据，迅速适应不同领域和变化的数据。 3. 可扩展性：随时增加或更新知识库内容，无需重新训练模型。 RAG 与常规知识库的对比优势： 常规知识库可能存在知识更新不及时、数据来源单一等问题。而 RAG 能够从多种数据源获取信息，并且可以根据用户的实时需求进行检索和优化，生成更贴合需求的回答。 在 GraphRAG 的实现方面，目前提供的内容中未明确提及相关具体实现方式。 同时需要注意的是，RAG 也存在一些缺点，比如相比于专有模型的方案，回答准确性可能不够。
2025-03-28
如何将一个现成的PPT用AI生成口语话的讲解文字？
以下是将现成的 PPT 用 AI 生成口语化讲解文字的一些参考方法和示例： 示例一： 标题：张翼然：用 AI 为教师减负（3H）.pdf 一级标题：教师的 AI 减负指南生成式人工智能在教学中的应用 二级标题：教师使用 AI 小技巧 三级标题：提示词设计公式之——RTFC 内容： 开场 PPT（口播）：大家好，今天我将演示如何利用 AI 助手 Kimi.ai 展自适应学习。Kimi.ai 支持 200k 输入，非常适合用于学习导师。首先，我会给 Kimi.ai 输入一份讲义 PDF，请它提取知识点。 操作录屏（口播）：我在对话框输入“请提敢以下溶 DF 中的主要知识点”然后上讲义 PDF 文件。我们看到 i'.aig 快列出了这份讲义的知识点提纲，包活认知负荷、工作记忆等概念。这样学生就能快速了解这堂课的重点内容。 操作录屏（口播）：接下来，我输入“认知负荷这个概念我还是不太懂，我只是一个 15 岁的孩子，你能否通俗地解释一下，并举几个例?”。我们看到 Kimi.ai 用通俗的语言解释了认知负荷，并举了背诵课文和学习编程两个例子。通过这种互动式讲解，学生更容易理解概念。 操作录屏（口播）：我回复“我懂了，谢谢!那么请你出 5 道难度递增的选择题考考我吧，我可是学霸!”。Kimi.ai 很快生成了 5 道关于认知负荷的选择题。我回答了第一、3、5 题，其中第 3 题答错了。我们看到只imi.ai 的反馈，第一题称赞我掌握了基本概念，第 3 题指出了我的错误并解释正确答案，第 5 题夸赞我的超常发挥并总结了知识点。通过测评反馈，学生能及时查缺补漏、巩固知识。 操作录屏（口播）：在最后，我提出了一个拓展问题“认知负荷理论对教学设计有何指导意义?”。Kimi.ai 不仅解答了问题还推荐了两篇相关文献。这种个性化的学习资源推荐，能引导学生深入探充感兴趣的话题。 总结 PPT（口播）：通过本次演示，我们看到利用 ChatGPT 进行自适应学习的几个关键环节：提取知识点、互动式讲解、定制练习题、测评与反馈、拓展资源推荐等。在使用中要注意提问要明确、注剩引导过程养成自主探究习惯这样才能真正发挥AI 助手的智能优势，现高效个性化学习。 示例二： 标题：实战：每个人都可以用 10 分钟轻松制作 AI 换脸、AI 数字人视频的方法！ 一级标题：二、创建视频内容 内容： 2.1 准备内容：我们需要先准备一段视频中播放的内容文字。内容可以是产品介绍、课程讲解、游戏攻略等任何你希望推广，让大家了解的文字。当然，你也可以利用 AI 来生成这段文字。 2.2 制作视频：我们使用剪映 App 来对视频进行简单的处理。这是一款功能强大的视频编辑软件，个人免费版就足够我们实现制作目的。电脑端打开剪映 App，点击“开始创作”。进入创作页面：我们选择顶部工具栏中的：文本，并点击默认文本右下角的“+”号，这个动作代表了为视频添加一个文字内容的轨道。添加完成后，在界面的右侧。我们将准备好的文字内容替换默认文本内容。视频内容就准备好了，这将为数字人提供语音播放的内容，以及生成与文字内容相对应的口型。 希望以上内容能为您提供一些帮助。
2025-03-26
提示词设计方法，请从初级到高级一步步进行说明讲解
以下是从初级到高级的提示词设计方法的讲解： 初级阶段： 在初级阶段，重点是明确表达您的需求和期望。例如，清晰地描述任务、问题或所需的输出类型。 中级阶段： 随着经验的积累，可以尝试更详细和具体的描述。包括提供更多的背景信息、限制条件和关键要点，以引导模型生成更符合期望的结果。 高级阶段： 1. 自动提示词工程（APE）： 提示词生成：利用 LLM 针对特定任务产生多种提示词，借助其语言数据库和上下文理解。 提示词评分：根据清晰度、特定性和推动期望结果的潜力等关键指标对提示词进行严格评估。 完善和迭代：根据评分调整和优化提示词，增强其与任务要求的一致性，通过持续改进提高提示词质量。 2. 样例驱动的渐进式引导： 把相关的样例文件与提示词同时发送给模型，让模型自行总结所需结果。 经过多次调试和根据测试 bug 微调提示词，以确保稳定运行。 3. 格式选择： 对于刚入门的朋友，推荐使用直观易懂的 LangGPT 结构化提示词，以便快速上手。 对于进阶用户，一方面可以继续使用 LangGPT 结构化提示词，另一方面如有精力和好奇心，可尝试 Lisp 伪代码格式，有助于精炼提示词和提升对措辞理解、概念认知的能力。 需要注意的是，部署 APE 并非没有挑战，可能需要大量计算资源和建立有效评分指标，初始设置也可能需要精心策划的种子提示词集来有效指导生成过程。重要的是提示词的内容要与 AI 的“理解机制”相契合，而非外在形式。
2025-03-18
multi agents讲解
多智能体（MultiAgent）是由多个自主、独立的智能体（Agent）组成的系统。每个智能体都能感知环境、决策并执行任务，且它们之间能信息共享、任务协调与协同行动以实现整体目标。 随着大型语言模型（LLM）的出现，以 LLM 为核心构建的 Agent 系统受广泛关注。目前常见框架集中在单 Agent 场景，其核心是 LLM 与工具协同配合，可能需与用户多轮交互。而多 Agent 场景为不同 Agent 分配角色，通过协作完成复杂任务，与用户交互可能减少。 构建多 Agent 框架主要组成部分包括： 1. 环境：所有 Agent 处于同一环境，包含全局状态信息，Agent 与环境有信息交互与更新。 2. 阶段：采用 SOP 思想将复杂任务分解为多个子任务。 3. 控制器：可以是 LLM 或预先定义好的规则，负责环境在不同 Agent 和阶段间切换。 4. 记忆：因 Agent 数量增多，消息数量及每条消息的记录字段增加。 此外，吴恩达最新演讲提到四种 Agent 设计范式，Reflection 和 Tool Use 相对经典且广泛使用，Planning 和 Multiagent 较新颖有前景。Reflection 类似于 AI 自我纠错和迭代，如让 AI 写代码并自我检查修改。Tool Use 指大语言模型调用插件拓展能力。在一些场景中，Reflection 可用两个 Agent，一个写代码，一个 Debug。
2025-03-14