Transformer 模型是一种基于注意力机制的深度学习模型，由 Vaswani 等人在论文《Attention is All You Need》中提出，用于处理序列到序列的任务，如机器翻译、文本摘要等。其原理主要包括以下几个关键点： 1. 自注意力机制：能够同时考虑输入序列中所有位置的信息，而非像循环神经网络或卷积神经网络一样逐个位置处理。通过自注意力机制，模型可根据输入序列中不同位置的重要程度，动态分配注意力权重，从而更好地捕捉序列中的关系和依赖。 2. 位置编码：由于自注意力机制不考虑输入序列的位置信息，为使模型能够区分不同位置的词语，Transformer 模型引入了位置编码。位置编码是一种特殊的向量，与输入词向量相加，用于表示词语在序列中的位置信息。位置编码通常基于正弦和余弦函数计算得到的固定向量，可帮助模型学习到位置信息的表示。 3. 多头注意力机制：通过引入多头注意力机制，可以并行地学习多个注意力表示，从不同的子空间中学习不同的特征表示。每个注意力头都是通过将输入序列线性变换成查询、键和值向量，并计算注意力分数，然后将多个头的输出拼接在一起得到最终的注意力表示。 4. 残差连接和层归一化：在每个子层（SelfAttention 层和前馈神经网络层）的输入和输出之间都引入了残差连接，并对输出进行层归一化。残差连接可缓解梯度消失和梯度爆炸问题，使得模型更容易训练和优化；层归一化可加速训练过程，并提高模型的泛化能力。 5. 位置感知前馈网络：在每个注意力子层之后，Transformer 模型还包含了位置感知前馈网络，它是一个两层的全连接前馈神经网络，用于对注意力表示进行非线性转换和映射。位置感知前馈网络在每个位置独立地进行计算，提高了模型的并行性和计算效率。 Transformer 模型主要由两大部分组成：编码器和解码器。每个部分都是由多个相同的层堆叠而成，每层包含了多头注意力机制和位置全连接前馈网络。 编码器可以理解为将自然语言转换成向量文本，以模型内的既有参数表示。这些参数包含了原始信息，同时也融合了序列内元素间的相互关系。例如，输入“我喜欢猫”，将自然语言转换成词嵌入向量：我>，经过自注意力机制，输出编码器输出一个序列的向量，表示对输入句子的理解。 解码器基于编码器的输出和之前生成的输出逐步生成目标序列，也就是把向量文本重新转化成自然语言。例如，目标生成中文句子“我喜欢猫”，初始输入为解码器接收一个开始符号，用，对应“猫”。这是一个简单的复现概念，当模型得到匹配度高的参数时，它就会一个词一个词地判断需要输出的语言文本。

以下是关于会议录音文本整理提示词的相关内容： 单人发言版：基于李继刚老师的“通知消息整理助手”修改了一份“文字排版大师”的 Prompt，重点 Prompt 语句已标出。 多人发言版：将提示词和文字原文发送给 GPT，GPT 开始整理文字，等待输出完毕后复制粘贴到文本编辑器中，整理并删掉无关内容，使用替换法替换掉双星号。 Claude 官方提示词（中文版含 API Prompt）： 会议记录员：将会议浓缩成简明摘要，包括讨论主题、重点内容、行动事项。 俗语解码员：解释常见俗语谚语的意思和来历。 代码优化师：优化 Python 代码性能的建议。 文本补全（Text completion）： 提示词（Prompt）设计： 基础知识：模型可完成多种任务，创建提示需明确描述需求，遵循展示和告诉、提供高质量数据、检查设置三个基本准则。 故障排除：若 API 无法正常工作，可检查是否清楚生成的预期结果、是否提供足够示例、示例是否有错误、是否正确使用温度和 top_p。

智能体（Agent）在人工智能和计算机科学领域是一个重要概念，指能够感知环境并采取行动以实现特定目标的实体，可以是软件程序或硬件设备。 智能体的定义： 智能体是自主系统，通过感知环境（通常通过传感器）并采取行动（通常通过执行器）来达到目标。在 LLM 支持的自主 Agent 系统中，LLM 充当 Agents 的大脑，并辅以规划、子目标和分解、反思和完善、记忆、工具使用等关键组成部分。 智能体的类型： 1. 简单反应型智能体（Reactive Agents）：根据当前感知输入直接采取行动，不维护内部状态，不考虑历史信息。例如温控器。 2. 基于模型的智能体（Modelbased Agents）：维护内部状态，对当前和历史感知输入进行建模，能推理未来状态变化并据此行动。例如自动驾驶汽车。 3. 目标导向型智能体（Goalbased Agents）：具有明确目标，能根据目标评估不同行动方案并选择最优行动。例如机器人导航系统。 4. 效用型智能体（Utilitybased Agents）：不仅有目标，还能量化不同状态的效用值，选择效用最大化的行动，评估行动优劣并权衡利弊。例如金融交易智能体。 5. 学习型智能体（Learning Agents）：能够通过与环境交互不断改进其性能，学习模型、行为策略以及目标函数。例如强化学习智能体。 智能体功能实现： 本智能体主要通过一个工作流实现，采用单 Agent（工作流模式）。工作流全景图按照市场分析报告内容划分，分成 7 个分支处理，每个分支调研并生成报告中的一部分，以发挥并行处理的效率。工作流主要节点包括文本处理节点、必应搜索节点、LinkerReader 节点、代码节点、大模型节点和结束节点。文本处理节点将用户输入与报告主题拼装形成关键词句，必应搜索节点根据关键词句搜索相关网络内容，LinkerReader 节点获取网页详细内容，代码节点对搜索到的网页链接信息进行过滤，大模型节点生成报告内容并添加引用链接，结束节点将 7 部分内容拼接并流式输出。

在 AI 术语中，“对齐”（Alignment）指的是让模型的输出更加符合人类的期望和要求，使其更加安全，减少错误、幻觉和攻击性语言。例如，InstructGPT 更善于遵循人类的指示，被称为对齐。通过对齐，如指令调优，可以让语言模型更好地理解人类意图，增加安全保障，确保语言模型不会输出有害的内容和信息。对于对齐任务，可以拆解为监督微调以及获取奖励模型和进行强化学习来调整语言模型的输出分布。但需要注意的是，即使像 GPT4 和 Claude 等大型语言模型通过对齐几乎不会回复危险问题，也并不意味着对齐能防护所有安全问题，因为存在用户通过“越狱”（Jailbreak）等方式使模型的对齐失效的情况。在未来，人类或许会更加深刻地认识到“价值对齐”的重要性，即确保人工智能的决策符合人类普适的道德标准，人类社群内部也需要凝聚共识，明确希望 AI 继承和遵循的核心价值观。

大模型在企业中的应用主要体现在以下几个方面： 1. 智能终端行业：中国超半数手机厂商如三星、荣耀、vivo、OPPO、小米等主流品牌，以及上汽大众、吉利汽车、蔚来汽车、长安汽车等十余家车企已接入百度文心大模型。 2. 百度表现：在主流大模型厂商中，百度表现突出，拿下最关键的中标项目数量、中标金额两项第一。其文心大模型日均调用量超过 15 亿次，千帆平台帮助客户精调了 3.3 万个模型、开发了 77 万个企业应用。百度智能云的增长主要由互联网、教育、金融等行业对模型训练和推理的高需求带动。 3. 落地所需能力：企业想要真正将大模型在自身场景落地，需要具备构建算力、数据治理、模型训练、场景落实、应用搭建、持续运营、安全合规等整套能力。这意味着大模型落地赋能企业智能化时，能力比拼从单项变为全能比拼。 然而，大模型在企业落地应用中面临一些问题和挑战： 1. 竞争格局：大模型是典型赢家通吃领域，胜出的大模型在中国和世界范围内都很难超过 2 个，巨头在资金、技术和数据方面具有优势，给创业公司的机会很少。 2. 落地难题：如何将大模型更快落地应用，将技术能力释放并与更多场景相结合，真正产生新一轮科技革命和产业变革，是当前紧要的关键问题。 3. 具体问题： 提高内容可信：需要通过商业交付去应用、反馈和评测，不断优化数据以解决实际应用问题，走向垂直化以提高内容精准度。 解决算力成本高、训练重复和资源紧缺：以 GPT3 模型为例，训练成本高昂，且目前仍无法用商业化的国产芯片进行大模型训练。 解决大模型落地问题，主要有以下三方面：提高内容可信；解决算力成本高、训练重复和资源紧缺的问题；降低大模型价格或使用垂直领域模型落地。

以下是一些常见的 AI 海报生成工具和相关教程： 1. Canva（可画）：https://www.canva.cn/ 这是一个非常受欢迎的在线设计工具，提供大量模板和设计元素，用户通过简单拖放操作即可创建海报，其 AI 功能可帮助选择合适颜色搭配和字体样式。 2. 稿定设计：https://www.gaoding.com/ 稿定智能设计工具采用先进人工智能技术，自动分析和生成设计方案，稍作调整即可完成完美设计。 3. VistaCreate：https://create.vista.com/ 这是一个简单易用的设计平台，提供大量设计模板和元素，用户可使用 AI 工具创建个性化海报，智能建议功能可帮助快速找到合适设计元素。 4. Microsoft Designer：https://designer.microsoft.com/ 通过简单拖放界面，用户可快速创建演示文稿、社交媒体帖子等视觉内容，还集成丰富模板库和自动图像编辑功能，如智能布局和文字优化，简化设计流程。 此外，还有即梦的女神节海报生成教程： 1. 原文链接：https://mp.weixin.qq.com/s/CYmlZDPjrchnKr8V4lvmRQ 2. 操作步骤： 第一步：打开即梦 AI，选择“图片生成”功能，https://jimeng.jianying.com 第二步：模型选择图片 2.1，输入提示词（可以直接参考案例提示词）。 第三步：点击生成，几秒钟后，专属字体海报就完成啦！ 3. 海报案例： 案例一：提示词：女神节主题，3D 设计，梦幻氛围，明亮春天场景，花田，数字 38，天空“女神节”，五彩缤纷的蝴蝶，晴朗的蓝天，茂密的绿色草地，盛开的花朵，柔和光线 案例二：提示词：粉色主题，梦幻氛围，数字 38，心形气球，花卉装饰，玫瑰花，漂浮的花瓣，柔和的云朵，美丽的湖面倒影，奇幻风格，柔和的色调，庆祝场景 案例三：提示词：妇女节，3D 设计，粉色主题，大号装饰数字 38，爱心，郁金香花朵，柔和光照，背景城市天际线，精致花卉装饰，优雅节日氛围，金色文字，春天氛围，细致鲜艳 内容由 AI 大模型生成，请仔细甄别。

以下是关于思维导图提示词的相关信息： 在文生图的提示词中，例如“”，用来告诉 AI 我们不要的内容。 在星流一站式 AI 设计工具中，提示词用于描绘您想生成的画面。输入语言方面，星流通用大模型与基础模型 F.1、基础模型 XL 使用自然语言（如一个长头发的金发女孩），基础模型 1.5 使用单个词组（如女孩、金发、长头发），支持中英文输入。写好提示词要注意内容准确，包含人物主体、风格、场景特点、环境光照、画面构图、画质等，比如“一个女孩抱着小猫，背景是一面红墙，插画风格、孤独感，高质量”。还可以调整负面提示词，点击提示框下方的齿轮按钮弹出负面提示词框，负面提示词可帮助 AI 理解不想生成的内容，如不好的质量、低像素、模糊、水印。利用“加权重”功能，可在功能框增加提示词并进行加权重调节，权重数值越大越优先，也能对已有的提示词权重进行编辑。此外，还有翻译功能可一键将提示词翻译成英文，以及删除所有提示词和会员加速等辅助功能。 对于 SD 新手，有以下提示词模板的相关网站：Majinai：

以下是一些常见的 AI 浏览器： 1. 360 AI 浏览器：新版增加了视频总结、提问、转录和翻译等功能，支持本地和网络视频的内容分析，但无法提取无对白视频摘要。官网地址：http://browser.360.cn/ai 。 功能包括看长视频时敲黑板划重点，能帮用户观看 B 站的字幕视频，短短几秒总结概要生成脑图，告知视频重点和高潮剧情，还能对英文字幕进行翻译，支持通过 AI 助手对话就视频内容进行追问和扩展提问。 能阅读国内外长论文和著作，自动翻译自动提炼，3 分钟获取要点，目前支持 360k 长文本阅读，以《三体》为例，能呈现完整的故事框架并生成思维导图。 2. Arc 浏览器：适合 Mac 用户，方便保存常用网页。下载地址：https://arc.net/ 。但安装使用需要电脑能魔法上网并开启“全局代理”。

分布式预训练中的流水线并行是一种在模型参数量太大一张卡不能完全放下时采用的切分方法。具体而言，沿着模型的拓扑序将其切分成 p 段，每段为一个 stage。将大小为 N 的 minibatch 进一步切分为 m 个大小为 M 的 microbatch（N = m·M），这些 microbatch 依次进入上述 p 个 stage。 在流水线并行切分后，每个 stage 的耗时会发生变化。假设 1 指出：算力为 1 的节点，处理完整模型的 1 个 microbatch，前向和反向耗时分别是 t_f 和 t_b。基于此有推论 1：算力为 1/p 的节点，处理完整模型的 1 个 microbatch，前向和反向耗时分别是 p·t_f 和 p·t_b；推论 2：算力为 1 的节点，处理 1/p 模型的 1 个 microbatch，前向和反向耗时分别是 t_f/p 和 t_b/p；推论 3：算力为 1/p 的节点，处理 1/p 模型的 1 个 microbatch，前向和反向耗时分别是 t_f 和 t_b。 从耗时情况来看，理论上界是显存无限大，不需要 pipeline 并行，一把梭直接对 minibatch 的样本做前向和反向，耗时正比于样本数量，b_best 耗时为 t_best = m·，可见耗时是理论上界的 p 倍，存在大量计算资源闲置空载，硬件利率用很低。 最后小结，3D 并行包括数据并行。DP 计算和通信效率友好，但权重显存不友好；PP 要求 minibatch 里 batch size 足够大以掩盖流水线带来的 overhead，batch size 过大则会增大激活显存占用；TP 权重显存友好，但计算和通信效率不友好，通信量要求大。ZeRO 针对数据并行显存占用大的问题提出优化，Alpa 借鉴 AI 编译器思路对 3D 并行建模并用自动化搜索方式得到并行策略。

智谱清言是智谱 AI 和清华大学推出的大模型产品，其基础模型为 ChatGLM 大模型。2023 年 10 月 27 日，智谱 AI 于 2023 中国计算机大会（CNCC）上推出了全自研的第三代基座大模型 ChatGLM3 及相关系列产品。 模型特点： 工具使用排名国内第一。 在计算、逻辑推理、传统安全能力上排名国内前三。 更擅长专业能力，但代码能力还有优化空间。 知识百科与其他第一梯队模型相比稍显不足。综合来看，是很有竞争力的大模型。 适合应用： 场景广泛，根据 SuperCLUE 测评结果，优先推进在 AI 智能体方面相关的应用，包括任务规划、工具使用及长文本记忆相关场景。 在较复杂推理应用上效果不错。 广告文案、文学写作方面也是很好的选择。