Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

简述manus的原理

Answer

Manus 是一款由中国团队研发的全球首款通用型 AI 代理工具，于 2025 年 3 月 5 日正式发布。

其原理包括以下方面：

  1. 技术架构：
    • 基于多智能体（Multiple Agent）架构，运行在独立的虚拟机中。
    • 核心功能由多个独立模型共同完成，分别专注于不同的任务或领域，如自然语言处理、数据分析、推理等。
    • 关键组件包括虚拟机、计算资源、生成物、内置多个 agents 等。
    • 采用“少结构，多智能体”的设计哲学，在数据质量高、模型强大、架构灵活的情况下，自然涌现 AI 的能力。
  2. 工作流程：
    • 意图识别：从用户输入中提取关键词和任务类型，引导用户补充信息以明确需求。
    • 任务初始化：创建任务文件夹并启动隔离环境（Docker 容器），为任务执行提供独立的运行空间。
    • 步骤规划：利用推理模型将任务拆解为具体步骤，将步骤信息写入 todo.md 文件进行跟踪。
    • 任务执行：通过 function call 调度专用智能体执行具体任务，各智能体将执行结果写入任务文件夹，主线程负责更新任务状态并调度下一步骤。
    • 归纳整理：汇总所有执行结果并针对用户需求整理输出，提供任务产物（文档/代码/图片等）供用户浏览或下载，收集用户反馈。
  3. 专用智能体设计：
    • Search Agent：调用搜索 API 获取结果列表，使用无头浏览器模拟网页浏览行为，结合多模态模型提取有效信息，通过点击和滚动操作获取更多内容。
    • Code/Data-Analysis Agent：根据需求创建并执行代码，保存执行结果，提供预览功能。

Manus 还存在一些改进空间，如使用 DAG 替代线性任务依赖关系、引入自动化测试智能体进行质量控制、实现用户介入与自动执行的混合模式。在技术评估方面，工程实现完善，交互体验优于同类产品，但技术壁垒不高，主要依赖模型能力，Token 消耗较高，成本问题需要解决，任务准确性和用户满意度有待更多案例验证。

当前的 Manus 约等于 AI 操纵着一个没有图形界面的 Linux 虚拟机和浏览器，能感知电脑环境，执行各类操作，如跑各种 linux 下的指令、库、程序（cd、ls 指令、python 等），访问各种网页、获取一些 API 接口的数据，但因无图形界面，无法运行图形程序。访问网页时，阻挠人类使用的各种要素也会打扰到 Manus。Manus 提供了用户可视的命令行视窗、浏览器、vscode 两种选项，方便查看运行指令、接管网页和修改文件。用户还可给 Manus 上传文件，未来也可能对接私有 API。

Content generated by AI large model, please carefully verify (powered by aily)

References

详解：Manus

Manus是一款由中国团队研发的全球首款通用型AI代理工具，于2025年3月5正式发布。它区别于传统聊天机器人（如ChatGPT），具备自主规划、执行复杂任务并直接交付完整成果的能力，被称为“首个真干活的AI”。[heading1]Manus AI代理工具的具体技术架构是什么？[content]Manus AI代理工具的具体技术架构主要基于多智能体（Multiple Agent）架构，运行在独立的虚拟机中。这种架构通过规划、执行和验证三个子模块的分工协作，实现了对复杂任务的高效处理。具体来说，Manus AI的核心功能由多个独立模型共同完成，这些模型分别专注于不同的任务或领域，如自然语言处理、数据分析、推理等。这种多模型驱动的设计不仅提高了系统的鲁棒性和准确性，还增强了其处理复杂任务的能力。[heading2]Manus AI的技术架构还包括以下几个关键组件：[content]1.虚拟机：Manus AI运行在云端虚拟机中，用户可以随时查看任务进度，适合处理耗时任务。2.计算资源：Manus AI利用计算资源生成算法，用于筛选简历等具体任务。3.生成物：Manus AI能够生成各种类型的输出，如文本、表格、报告等。4.内置多个agents：Manus AI通过内置多个智能体，实现了任务的分解和协同工作。此外，Manus AI还采用了“少结构，多智能体”的设计哲学，强调在数据质量高、模型强大、架构灵活的情况下，自然涌现AI的能力。这种设计使得Manus AI在处理复杂任务时更加高效和准确。Manus AI的技术架构通过多智能体协同工作、虚拟机运行和生成物输出等机制，实现了对复杂任务的高效处理和高质量输出。

Manus 吹散了人与 Agent 之间的迷雾｜直播测试 8 小时，我对 Manus 真实实测感想

当前的Manus≈AI操纵着一个没有图形界面的Linux虚拟机&浏览器，感知电脑环境，执行各类操作。所以它能跑各种linux下的指令、库、程序（cd、ls指令、python……），也能访问各种网页、获取一些API接口的数据但因为没有图形界面，所以没法运行图形程序。比如我让它跑《宝可梦》，在运行时就终止了访问网页时，阻挠人类使用的各种要素，一样会打扰到Manus。比如：强制要求登录、余额不足的充值弹窗Manus没有网页账号，也没有钱。所以为了方便用户通过键鼠介入，Manus提供了用户可视的命令行视窗、浏览器、vscode两种选项，方便查看运行指令、接管网页和修改文件。这也反向说明了Manus现在的活动边界。至于Manus AI能够很顺畅地和网页交互、读数据、点元素、打游戏，甚至还能从无图形界面随时切换到用户可接管的图形界面。这可能就是Peak、Red他们的传统艺能了，一个浏览器大佬，一个浏览器插件大佬，做浏览器相关工程化开发是手掐把拿的。对了，你还是可以给Manus上传文件，想必未来也能对接私有API，有想象空间

详解：Manus

从用户输入中提取关键词和任务类型引导用户补充信息以明确需求[heading3]二、任务初始化[content]创建任务文件夹并启动隔离环境(Docker容器)为任务执行提供独立的运行空间[heading3]三、步骤规划[content]利用推理模型将任务拆解为具体步骤将步骤信息写入todo.md文件进行跟踪[heading3]四、任务执行[content]通过function call调度专用智能体执行具体任务各智能体将执行结果写入任务文件夹主线程负责更新任务状态并调度下一步骤[heading3]五、归纳整理[content]汇总所有执行结果并针对用户需求整理输出提供任务产物(文档/代码/图片等)供用户浏览或下载收集用户反馈[heading2]专用智能体设计[heading3]Search Agent[content]调用搜索API获取结果列表使用无头浏览器模拟网页浏览行为结合多模态模型提取有效信息通过点击和滚动操作获取更多内容[heading3]Code/Data-Analysis Agent[content]根据需求创建并执行代码保存执行结果提供预览功能[heading2]改进空间[content]1.使用DAG替代线性任务依赖关系2.引入自动化测试智能体进行质量控制3.实现用户介入与自动执行的混合模式[heading2]技术评估[content]工程实现完善，交互体验优于同类产品技术壁垒不高，主要依赖模型能力Token消耗较高，成本问题需要解决任务准确性和用户满意度有待更多案例验证

Others are asking
和manus差不多的软件
以下是与 Manus 模式类似的软件： 1. Same.dev：像素级 UI 还原，自动生成对应代码，云端运行，支持自定义编码，但免费额度使用快，需输入 API，目前网站被标记危险。相关链接： 2. Genspark Super Agent：作为世界上首个 MixtureofAgents 系统，集多种功能于一体，能自动完成复杂任务。在 GAIA 基准测试的三个级别中得分均高于 Manus，具有近乎即时的结果、执行过程中错误和幻觉显著减少、让用户掌控一切并能指导和优化输出等优势。它是世界上第一个 MixtureofAgents 系统，利用最佳模型、工具和数据集来执行不同的任务，比如基础智能体的对话、图片、视频生成以及翻译。
2025-04-11
OpenManus
以下是关于 OpenManus 的相关信息： 比赛说明： 赛道一 OpenManus 效果 规则：自由修改代码，复现 Manus 原版某一方面的效果，可参考 12 个精选 Case。可以选择优化某类任务下执行的效果、优化前端页面或复刻宣传效果等，方向不限。 规模：队伍规模在 1 3 人之间。 评判：由组委会评委与大众人气投票热度评分，比例 8:2。 奖项：一、二、三等奖。 赛道二 OpenManus 创意 规则：自由修改代码，通过任何手段或工具，使用 OpenManus 得到有趣效果，完成有趣任务。 规模：队伍规模在 1 3 人之间。 评选规则：由组委会评委与大众人气投票热度评分，比例 2:8。 奖项：一、二等奖。 时间表： 线上启动：2025 年 3 月 21 日，线上启动会。 报名时间：3 月 20 日 3 月 28 日。 比赛阶段：3 月 21 日 4 月 3 日。 提交截止：4 月 3 日 23:59。 人气评审阶段：4 月 4 日 4 月 8 日 23:59，作品线上展示，大众投票。 结果公布&颁奖：4 月 10 日。 趋势研究： Manus 注重实用性和用户体验，目前虽为内测阶段但已计划开源部分模型以构建生态影响力。受其启发，开源社区涌现了如 OpenManus、OWL 等快速复刻的项目。多智能体的协作机制成为业界热点，通过让不同专长的 Agent 各司其职、相互通信，一个 AI 系统可以具备更大的灵活性和扩展性。例如，复杂业务流程中的不同环节可由不同 Agent 完成，再由调度 Agent 统筹协调。这种架构在一定程度上模拟了人类团队协作的问题求解方式，被认为是迈向更通用智能的重要路径。Anthropic 也在其 Agent 研发中引入类似理念，区分“Workflow”（固定流程）和“Agent”（自主决策流程）的概念，指出当任务复杂度和不确定性较高时，应让 LLM 自行规划调用工具，而非预设流水线。总之，多 Agent 系统通过模块化分工+自主协调，提升了大型任务的可管理性和成功率，已成为 2025 年 Agent 系统设计的主流思路之一。 开发进展： 距离 OpenManus 开源第一天已过去 12 天，收获了大量关注和 37k stars。在此期间不断完善和优化，包括修复已知 bug、兼容不同 LLM 调用方式、优化基础 Manus 的各类工具等，现已迭代完成基础稳定版的开发，并举办了 OpenManus Hackathon 比赛，邀请充满好奇心的小伙伴参加，展示创造力和想象力。
2025-04-11
genspark怎么样？和cursor、manus等相比如何？
Genspark 是一款功能强大的通用智能体，具有以下特点和优势： 1. 功能集成：集 AI 聊天、图片工作室、视频生成、深度研究等多种功能于一体。 2. 任务处理能力：能够自动完成复杂任务，如自主规划、深入研究、预定外部服务、进行数据搜索和事实核查等。 3. 工具和数据集：世界上首个 MixtureofAgents 系统，利用最佳模型、工具和数据集来执行不同任务。 4. 性能表现：在 GAIA 基准测试的三个级别（Level 1、Level 2、Level 3）中得分均最高，显示出在多轮对话和复杂任务处理上的优势，能更准确地反映用户与 AI 助手互动对话的需求。 5. 速度和可靠性：近乎即时的结果，执行过程中的错误和幻觉显著减少，让用户能够掌控和优化输出。 与 Manus 相比，Genspark 更加快速和可靠，表现更为成熟与稳定。 您可以通过 https://www.genspark.ai/ 直接使用，不过注意第一个问题可以稍微思考下再提问，因为可能提一个问题之后就要收费啦。其两位创始人是明星创业者，联合创始人景鲲之前是小度科技的 CEO，联合创始人兼 CTO 朱凯华则是小度科技的 CTO。相关媒体报道可参考： 1. 特工宇宙：超越 Manus？华人创业产品 Genspark 推出通用 Agent（附实测效果） https://mp.weixin.qq.com/s/S2NCd3ySZyaRtjwC6BSG6Q 2. MAX：用过最新的 Genspark 后，我已经准备去摆摊了。 https://mp.weixin.qq.com/s/mK1Y7kmIqW56FkrJd64Vtw
2025-04-09
如何综合运用插件、工作流、知识库，搭建满足各种需求的智能体，尤其是调用多个智能体，组成像Manus这样的工具？
要综合运用插件、工作流、知识库搭建满足各种需求的智能体，尤其是调用多个智能体组成类似 Manus 的工具，需要了解以下内容： 插件：插件如同一个工具箱，里面可放置一个或多个工具，称为 API。扣子平台有多种类型的插件，如看新闻、规划旅行、提高办公效率、理解图片内容的 API 及能处理多种任务的模型。若平台现有插件不符合需求，还可自行制作添加所需 API。 工作流：工作流类似可视化拼图游戏，可将插件、大语言模型、代码块等功能组合，创建复杂稳定的业务流程。工作流由多个节点组成，开始和结束节点有特殊作用，不同节点可能需要不同信息，包括引用前面节点信息或自行设定信息。 知识库：可上传私有文件作为回答参考。 智能体：智能体是对自定义操作的封装，用于解决特定场景问题。以 ChatGPT 的 GPTs 为例，包括描述作用和回复格式的提示词、作为回答参考的知识库、请求第三方 API 获取实时数据的外挂 API 以及个性化配置等。 例如，在“竖起耳朵听”的智能体中添加了插件和工作流的相关设置。创建智能体时，输入人设等信息，并配置工作流。但需注意，如工作流中使用的插件 api_token 为个人 token 时，不能直接发布，可将其作为工作流开始的输入，由用户购买后输入使用再发布。 此外，在 AI 搜索中，可预置 after_answer 钩子，将请求大模型的上下文和回答发给第三方插件整理成文章或思维导图等格式同步到第三方笔记软件。全流程中有很多节点可做 Hook 埋点，多个插件构成可插拔架构，常用功能可抽离成标准插件用于主流程或辅助流程，还可自定义智能体 Agent 等。
2025-03-29
ManusAI核心技术解读
Manus AI 的核心技术包括以下几个方面： 1. 代理功能：能够自动完成任务并交付完整结果。最终交付的结果形式多样，如文档、交互网页、播客、视频、图表等，使用户能更直观地获取信息。 2. 充分利用 AI 能力：不仅进行推理和任务规划，还结合代码能力生成最终结果。 3. 云端自动运行：AI 在云端电脑上完成包括数据收集、内容撰写、代码生成等任务。其体验特点是任务运行时间较长，但最终交付的结果超出预期。 您可以通过以下链接获取更多详细信息： 体验报告：
2025-03-22
对manus启发最大的论文
以下是对 Manus 启发较大的两篇论文： 1. 《MCP 协议详解：复刻 Manus 全靠它，为什么说 MCP 是 Agent 进化的一大步？》（https://waytoagi.feishu.cn/wiki/RwIBwXlkUiSHKzk3p9UciZ8vnOf?useEs6=0&from=wiki）：该论文聚焦于智能体技术的最新风口，深入剖析了 MCP 协议如何重构 AI 与工具、数据交互的方式，使 AI 真正“动起来”。通过一次搭建、无限扩展的设计理念，极大简化了 AI 助手与外部系统的对接流程，为 AI 生态搭建出高效、安全、灵活的通用接口。 2. 《屏蔽噪音，Manus 给我的 3 个启发》（https://mp.weixin.qq.com/s/s_ccBArUBKepgRNkewhx7Q）：本文探讨了 AI 产品 Manus 给产品经理的三大启发，包括展示过程、允许干预，确保用户理解 AI 的操作与结果；信任机器，减少人为干预，让 AI 自行探索与生成任务；关注用户体验，特别是付费用户对效果的期待。
2025-03-21
简述一下什么是ai
AI（人工智能）是一门令人兴奋的科学，它是指让计算机表现出智能行为，例如做一些人类所擅长的事情。 对于没有理工科背景的文科生来说，可以把 AI 当成一个黑箱，只需要知道它是某种能模仿人类思维、理解自然语言并输出自然语言的东西。其生态位是一种似人而非人的存在。 对于三年级的孩子，可以用简单的语言来解释，即让计算机或机器能像人类一样思考和学习的技术。 在某些任务中，如根据照片判断一个人的年龄，由于我们无法明确大脑完成此任务的具体步骤，所以无法为计算机编写明确程序，而这类任务正是 AI 所感兴趣的。
2024-11-15
简述一下什么是AI
AI 是一门令人兴奋的科学，是某种模仿人类思维可以理解自然语言并输出自然语言的东西。 对于不具备理工科背景的人来说，可以把 AI 当成一个黑箱，只需要知道它能理解自然语言并输出自然语言即可。其生态位是一种似人而非人的存在。 最初，计算机是按照明确的程序和算法进行数字运算。但对于像“根据照片判断一个人的年龄”这类任务，无法明确编程步骤，而这正是 AI 感兴趣的。 对于三年级的孩子，可以简单理解为让计算机或机器能像人类一样思考和学习的技术。
2024-11-14
国内免费ai的排行榜，要求详细信息简述
目前国内免费 AI 产品的排名情况会因不同的评估标准和时间而有所变化，暂时没有确切和权威的排行榜信息。但一些常见的免费 AI 工具和平台包括百度的文心一言、字节跳动的云雀模型等。这些工具在自然语言处理、图像识别等领域都有一定的应用和特点。您可以根据自己的具体需求和使用场景，对它们进行试用和比较。
2024-09-05
学习AI怎么在工作中使用，提高工作效率，有必要从技术原理开始学习吗
学习 AI 在工作中使用以提高工作效率，不一定需要从技术原理开始学习。以下是一些相关的案例和建议： 案例一：GPT4VAct 是一个多模态 AI 助手，能够模拟人类通过鼠标和键盘进行网页浏览。其应用场景在于以后互联网项目产品的原型设计自动化生成，能使生成效果更符合用户使用习惯，同时优化广告位的出现位置、时机和频率。它基于 AI 学习模型，通过视觉理解技术识别网页元素，能执行点击和输入字符操作等，但目前存在一些功能尚未支持，如处理视觉信息程度有限、不支持输入特殊键码等。 案例二：对于教师来说，有专门的 AI 减负指南。例如“AI 基础工作坊用 AI 刷新你的工作流”，从理解以 GPT 为代表的 AI 工作原理开始，了解其优势短板，学习写好提示词以获得高质量内容，并基于一线教师工作场景分享优秀提示词与 AI 工具，帮助解决日常工作中的常见问题，提高工作效率。 建议：您可以根据自身工作的具体需求和特点，有针对性地选择学习方向。如果您只是想快速应用 AI 提高工作效率，可以先从了解常见的 AI 工具和应用场景入手，掌握基本的操作和提示词编写技巧。但如果您希望更深入地理解和优化 AI 在工作中的应用，了解技术原理会有一定帮助。
2025-04-15
从最基本的原理开始讲
以下是为您从最基本的原理开始讲解的相关内容： 强化学习： 从最开始的 K 臂抽奖机器入手讲解了强化学习的基本原理，然后切入到 Qlearning 中学习如何使用 Q 表来进行强化学习，最后再借助神经网络将 Q 表替换成用函数来拟合计算 Q 值。 参考文章： https://lilianweng.github.io/posts/20180123multiarmedbandit/ https://yaoyaowd.medium.com/%E4%BB%8Ethompsonsampling%E5%88%B0%E5%A2%9E%E5%BC%BA%E5%AD%A6%E4%B9%A0%E5%86%8D%E8%B0%88%E5%A4%9A%E8%87%82%E8%80%81%E8%99%8E%E6%9C%BA%E9%97%AE%E9%A2%9823a48953bd30 https://zh.wikipedia.org/wiki/%E8%92%99%E5%9C%B0%E5%8D%A1%E7%BE%85%E6%96%B9%E6%B3%95 https://rl.qiwihui.com/zh_CN/latest/partI/index.html https://github.com/ty4z2008/Qix/blob/master/dl.md https://hrl.boyuai.com/ http://zh.d2l.ai/ 苏格拉底辩证法及其第一性原理： 这里所说的“辩证法”，是一种通过提问和回答，深入挖掘、质疑和明确观念的艺术，是始于苏格拉底的、源头上的“辩证法”。这门艺术可通过一系列问题，不断挑战人们对世界的既定认知，揭示其中的矛盾和不足，从而引领人们学会自我反思并走向真理。把 AI 作为方法，就是要用辩证法以对话方式引导出 AI 被预训练的世界级的知识和推理能力，然后使其变成我们可以重复调用的“专家级团队”。既然先进的大语言模型是预训练的、以自然语言对话为交互的，又因为人们创造“概念”是为了对事物达成共识，并能更好地交流，所以我们就选择从对话开始，追本溯源，探索如何对话、如何训练对话能力及如何操纵概念——直达认知事物的第一性原理，然后再回到应用上来。 Stable Diffusion： 从艺术和美学的角度来看，扩散模型可以被理解为一种创作和表达过程，其中的元素通过互动和影响，形成一种动态的、有机的整体结构。 前向扩散过程是一个不断加噪声的过程。例如，在猫的图片中多次增加高斯噪声直至图片变成随机噪音矩阵。对于初始数据，设置 K 步的扩散步数，每一步增加一定的噪声，如果设置的 K 足够大，就能够将初始数据转化成随机噪音矩阵。扩散过程是固定的，由 Schedule 算法进行统筹控制。同时扩散过程也有一个重要的性质：可以基于初始数据 X0 和任意的扩散步数 Ki，采样得到对应的数据 Xi 。 反向扩散过程和前向扩散过程正好相反，是一个不断去噪的过程。将随机高斯噪声矩阵通过扩散模型的 Inference 过程，预测噪声并逐步去噪，最后生成一个小别墅的有效图片。其中每一步预测并去除的噪声分布，都需要扩散模型在训练中学习。
2025-04-14
用通俗易懂的动画描述人工智能工作原理
人工智能的工作原理可以通过以下动画来描述： 在一个动画场景中，首先有一个传统工作流的部分，就像精心搭建的积木城堡，每一块积木的位置和形状都被精确设计和控制，这代表着传统工作流的可控性和高成本、慢速度。 然后是 AI 工作流的部分。想象一下，有一团混乱的色彩在飞舞，这团色彩代表着随机和不可控。但在这混乱中，有一种力量在尝试引导和塑造，就像在狂风中努力抓住风筝线一样，这就是在随机性中寻找可控性。 比如在一个生成音频与视频同步的例子中，动画展示了一个系统。首先，系统将视频输入编码成压缩的表示形式，就像把一大包东西压缩成一个小包裹。然后，扩散模型从随机噪声中不断改进音频，就像在混沌中逐渐塑造出清晰的声音。这个过程受到视觉输入和自然语言提示的引导，最终生成与提示紧密配合的同步逼真音频。最后，音频输出被解码，变成音频波形，并与视频数据完美结合。 总的来说，传统工作流在可控中寻找创新的随机，而 AI 工作流更多是在随机中寻找可控，两者各有优劣，结合起来能创造出更出色的成果。
2025-04-14
我是一个没有技术背景且对AI感兴趣的互联网产品经理，目标是希望理解AI的实现原理并且能够跟开发算法工程师沟通交流，请给我举出AI模型或者机器学习的分类吧。
以下是 AI 模型和机器学习的分类： 1. AI（人工智能）：是一个广泛的概念，旨在使计算机系统能够模拟人类智能。 2. 机器学习：是人工智能的一个子领域，让计算机通过数据学习来提高性能。包括以下几种类型： 监督学习：使用有标签的训练数据，算法学习输入和输出之间的映射关系，包括分类和回归任务。 无监督学习：学习的数据没有标签，算法自主发现规律，经典任务如聚类。 强化学习：从反馈中学习，以最大化奖励或最小化损失，类似训练小狗。 3. 深度学习：是机器学习的一个子领域，模拟人脑创建人工神经网络处理数据，包含多个处理层，在图像识别、语音识别和自然语言处理等任务中表现出色。 4. 大语言模型：是深度学习在自然语言处理领域的应用，目标是理解和生成人类语言，如 ChatGPT、文心一言等。同时具有生成式 AI 的特点，能够生成文本、图像、音频和视频等内容。 2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它基于自注意力机制处理序列数据，不依赖循环神经网络或卷积神经网络。生成式 AI 生成的内容称为 AIGC。
2025-03-26
生成式人工智能原理是什么
生成式人工智能的原理主要包括以下几个方面： 1. 基于深度学习技术和机器学习算法：通过大规模的数据集训练深度神经网络模型，学习各种数据的规律和特征，从而实现对输入数据的分析、理解和生成。 2. 监督学习：例如在生成文本时使用大语言模型，通过监督学习不断预测下一个词语，经过大量的数据训练，从而生成新的文本内容。这通常需要千亿甚至万亿级别的单词数据库。 3. 从大量现有内容中学习：包括文本、音频和视频等多模式的内容，这个学习过程称为训练，其结果是创造“基础模型”，如为聊天机器人提供支持的大型语言模型（LLM）。基础模型可用于生成内容并解决一般问题，也可以使用特定领域的新数据集进一步训练以解决特定问题。
2025-03-26
LLM的原理
LLM（大语言模型）的工作原理如下： 以“我今天吃了狮子头和蔬菜”这句话为例，在 Transformer 中，会由 Attention 层对其加入更多信息补充，如“狮子头是一道菜”“今天是星期六”等，这些补充信息作为输入给到下一个 Attention 层，层与层之间，哪些信息补充、保留、传递，由模型自主学习，最终模型把海量数据以关系网形式“消化”并保留重要相关性。 形象地说，就像人阅读文章时的连贯性注意力过程，在阅读理解时，脑子里会消化吸收记忆，记忆的不是点状知识，而是网状经验。 大模型以词向量和 Transformer 模型学习海量知识，把知识作为向量空间中的关系网存储，接受输入时通过向量空间中的匹配进行输出。 观察大模型回复，是一个字一个字流式输出的，因为大模型确实在一个字一个字地推理生成内容。比如输入法输入联想，根据输入的单个字推测下一个字，加入上下文能帮助模型理解下一个字。但存在两个问题：一是全量数据计算算力吃不消，二是仅算字的概率易被不相干信息干扰，此时词向量机制和 Transformer 模型中的 Attention 自注意力机制解决了难题。 另外，RAG 对大语言模型的作用就像开卷考试对学生，事实性知识与 LLM 的推理能力相分离，被存储在容易访问和及时更新的外部知识源中，分为参数化知识（模型训练中学习得到，隐式储存在神经网络权重中）和非参数化知识（存储在外部知识源，如向量数据库中）。
2025-03-25