Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

大模型和小模型如何协作

Answer

大模型和小模型的协作方式主要体现在以下几个方面:

在人机协同模式方面:

  1. 模式一:以人为主导,大模型提供建议(copilot 阶段),如同副驾驶,开车时提供建议,决定权在人手上。
  2. 模式二:人和大模型协同工作,合作完成同一工作(embedding 阶段),实际工作场景中,一些小环节可由大模型完成,融入工作流程提高效率。
  3. 模式三:人指挥大模型工作(数字员工阶段),但此阶段目前少见,大模型还不能完全独立完成具体工作,可能是工程问题或自身能力欠缺。

在 AI 绘图方面:大模型如同主菜或主食,小模型(如 Lora)如同佐料或调料包,Lora 能帮助快速实现特定风格或角色的绘制。并且大模型和 Lora 要基于同一个基础模型才能搭配使用,以生成各种风格的图片。

个人观点认为,当下应努力让大模型深度融入工作流,而数字员工阶段尚不成熟,可让其他大厂和学界先多尝试。

Content generated by AI large model, please carefully verify (powered by aily)

References

Waytoagi 共学 -大模型在 B 端场景的应用

1.如何交互(目前的人机协同模式是什么样)?之前很多人都说到大模型可能会有3种交互模型模式一:以人为主导,大模型提供建议(copilot阶段)像一个副驾驶,开车的时候给你提供建议,但是决定权还是在你手上模式二:人和大模型协同工作,合作完成同一个工作(embedding阶段)在实际的工作场景中,有一些小的环节可以让大模型来完成,从整个工作流程的角度来看这样确确实实的嵌入到我们的工作中,提高的效率模式三:人指挥大模型工作(数字员工阶段)这个阶段目前看来,非常少见。大模型还不能完全独立于人来完成某一个非常具体的工作。可能是一个工程上的问题,也有可能是大模型本身能力欠缺导致。个人观点:当下最应该努力的方向其实:如何从简单使用大模型得到建议,转变为让大模型深度的融入到工作流里面去。这样的一套agent一定是有很高价值的。至于数字员工这个阶段,还不是特别成熟,可以让其他大厂和学界先多试一下作者:朱一鸣,锤子

Waytoagi 共学 -大模型在 B 端场景的应用

1.如何交互(目前的人机协同模式是什么样)?之前很多人都说到大模型可能会有3种交互模型模式一:以人为主导,大模型提供建议(copilot阶段)像一个副驾驶,开车的时候给你提供建议,但是决定权还是在你手上模式二:人和大模型协同工作,合作完成同一个工作(embedding阶段)在实际的工作场景中,有一些小的环节可以让大模型来完成,从整个工作流程的角度来看这样确确实实的嵌入到我们的工作中,提高的效率模式三:人指挥大模型工作(数字员工阶段)这个阶段目前看来,非常少见。大模型还不能完全独立于人来完成某一个非常具体的工作。可能是一个工程上的问题,也有可能是大模型本身能力欠缺导致。个人观点:当下最应该努力的方向其实:如何从简单使用大模型得到建议,转变为让大模型深度的融入到工作流里面去。这样的一套agent一定是有很高价值的。至于数字员工这个阶段,还不是特别成熟,可以让其他大厂和学界先多试一下

06-从0学生图

[heading2]总结关于AI绘图模型的介绍与应用大模型与小模型(Lora)的关系:大模型如同主菜或主食,小模型(Lora)如同佐料或调料包,Lora能帮助快速实现特定风格或角色的绘制。Lora的作用:可改变人物形象、画风,添加模型中原本没有的元素,如绘制特定的国内节日元素。模型的选择与搭配:大模型和Lora要基于同一个基础模型才能搭配使用,以生成各种风格的图片。提示词相关功能:可以用中文写提示词,系统有翻译和扩写功能,能优化提示词。图片高清修复:文生图尺寸较小较模糊,可选择图片进行高清修复。SD软件的图片处理方法图片放大的流程:先画小图,再等比例放大并高分辨率修复。放大时要选择合适的修复方式和重绘幅度,重绘幅度越高,图片越偏离原图但越精致。图片风格转换的操作:在图生图中放入图片,选择想要转换的风格的大模型,调整尺寸,根据需求设置重绘幅度和提示词。线条控制的方法:在文生图中使用添加control Lite功能,选择姿态等控制选项,生成图片,还可通过插件修复脸部。

Others are asking
大模型的系统提示词
大模型的系统提示词主要包括以下方面: 1. 在“五津:一键生成‘摸鱼打工猫’视频”中,针对用户选择的主题和回答,总结用户的创作意图,如“打工猫摸鱼的 2 小时,在巴厘岛能看一场日落”,并根据此生成 4 组体现幽默风趣、以宫崎骏风格描绘主角为摸秋刀鱼橘猫的绘图提示词,以数组形式输出到“tishici”,将用户意图输出到“biaoti”。 2. 在“云中江树:智能对决:提示词攻防中的 AI 安全博弈”中,系统提示词的相关防御措施分为输入侧、模型侧和输出侧三个部分。输入侧可进行意图识别、语义匹配等综合判断用户输入是否恶意;模型侧对于有能力的厂商应增强安全性并平衡性能,开发者则要在开发中带着安全意识优化系统提示词,加入安全引导和禁止内容等;输出侧可使用传统防御和内容过滤手段,并针对大模型特点进行私有数据泄露等检查。此外,还提到间接注入和提示词泄露的情况,间接注入常发生在应用获取依赖外部数据资源时,攻击者通过隐藏恶意指令完成攻击;提示词泄露指试图操纵模型输出获取部分或全部系统提示词,大模型输出内容可分为系统提示词、用户提示和助手提示词三段,通过攻击手段可获取系统提示词。
2025-04-18
通义千问Qwen2.5-VL、阶跃星辰step-1.5v-mini、Gemini-2.0-Flash,这3个视觉理解大模型哪个最厉害?
以下是对通义千问 Qwen2.5VL 模型的介绍: 版本:有 3B、7B 和 72B 三个尺寸版本。 主要优势: 视觉理解能力:在 13 项权威评测中夺得视觉理解冠军,全面超越 GPT4o 与 Claude3.5。 视频理解能力:支持超 1 小时的视频理解,无需微调即可变身为 AI 视觉智能体,实现多步骤复杂操作。 万物识别:擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位:采用矩形框和点的多样化方式对通用物体定位,支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解:提升 OCR 识别能力,增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析:设计了更全面的文档解析格式,称为 QwenVL HTML 格式,能够精准还原文档中的版面布局。 增强的视频理解:引入动态帧率(FPS)训练和绝对时间编码技术,支持小时级别的超长视频理解,具备秒级的事件定位能力。 开源平台: Huggingface:https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope:https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat:https://chat.qwenlm.ai 然而,对于阶跃星辰 step1.5vmini 和 Gemini2.0Flash 模型,目前提供的信息中未包含其与通义千问 Qwen2.5VL 模型的直接对比内容,因此无法确切判断哪个模型在视觉理解方面最厉害。但从通义千问 Qwen2.5VL 模型的上述特点来看,其在视觉理解方面具有较强的能力和优势。
2025-04-15
目前全世界最厉害的对视频视觉理解能力大模型是哪个
目前在视频视觉理解能力方面表现出色的大模型有: 1. 昆仑万维的 SkyReelsV1:它不仅支持文生视频、图生视频,还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL:在 13 项权威评测中夺得视觉理解冠军,全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解,无需微调即可变身为 AI 视觉智能体,实现多步骤复杂操作。擅长万物识别,能分析图像中的文本、图表、图标、图形和布局等。
2025-04-15
目前全世界最厉害的视频视觉理解大模型是哪个
目前全世界较为厉害的视频视觉理解大模型有以下几个: 1. 昆仑万维的 SkyReelsV1:不仅支持文生视频、图生视频,是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元:语义理解能力出色,能精准还原复杂的场景和动作,如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5:全球最快的 AI 视频生成模型,Turbo 模式下可在 10 秒内生成视频,最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能,具备顶尖动漫生成能力。
2025-04-15
目前全世界最厉害的视觉理解大模型是哪个
目前在视觉理解大模型方面,较为突出的有 DeepSeek 的 JanusPro 模型,它将图像理解和生成统一在一个模型中;还有通义千问的视觉理解模型,其价格有较大降幅。此外,Pixverse V3.5 是全球最快的 AI 视频生成模型,在某些方面也展现出了出色的能力。但很难确切地指出全世界最厉害的视觉理解大模型,因为这取决于不同的评估标准和应用场景。
2025-04-15
大模型对话产品的优劣
大模型对话产品具有以下优点: 1. 具有强大的语言理解和生成能力。 2. 能够提供类似恋爱般令人上头的体验,具有一定的“想象力”和“取悦能力”。 3. 可以通过陪聊建立人和 AI 之间的感情连接,产品粘性不完全依赖技术优越性。 4. 能够为用户提供产品咨询服务,适用于有企业官网、钉钉、微信等渠道的客户。 5. 具有多种应用场景,如私有领域知识问答、个性化聊天机器人、智能助手等。 大模型对话产品也存在一些缺点: 1. 存在记忆混乱的问题。 2. AI 无法主动推动剧情,全靠用户脑补,导致用户上头期短,疲劳度高,长期留存低。 3. 无法回答私有领域问题(如公司制度、人员信息等)。 4. 无法及时获取最新信息(如实时天气、比赛结果等)。 5. 无法准确回答专业问题(如复杂数学计算、图像生成等)。
2025-04-14
吴恩达总结了四种AI Agent的设计模式: 1.反思模式(Reflection): 2.工具使用模式: 3.规划模式: 4.多智能体协作模式:
吴恩达总结了以下四种 AI Agent 的设计模式: 1. 反思模式(Reflection):让 Agent 审视和修正自己生成的输出。例如,在编写代码时,可让大模型检查代码的准确性和结构规范性,并不断优化。 2. 工具使用模式(Tool Use):通过使用外部工具和资源,如 LLM 生成代码、调用 API 等进行实际操作。 3. 规划模式(Planning):让 Agent 分解复杂任务并按计划执行。 4. 多智能体协作模式(Multiagent Collaboration):多个 Agent 扮演不同角色合作完成任务。 如果您想更深入了解这些设计模式,可以参考以下文章:https://waytoagi.feishu.cn/wiki/SPNqwJkmQiyVfGkS8zocMSZcnYd
2025-03-19
如何让agent协作起来
要让 Agent 协作起来,可以参考以下方法: 1. 了解不同的产品设计模式:生成式 AI 的人机协同分为 Embedding(嵌入式)、Copilot(副驾驶)、Agent(智能代理)这 3 种模式,每种模式下人与 AI 的协作流程有所差异。其中 Embedding 模式人类完成大多数工作,Copilot 模式人类和 AI 协同工作,Agents 模式 AI 完成大多数工作。 2. 采用 Multiagent Collaboration 的方法:让不同角色的 Agent 按照任务要求自主规划选择工具、流程进行协作完成任务。例如作为产品经理,可将产品功能设计需求通过 Agents 拆解成多个独立任务,遵循不同工作流,生成初步结果后再修改完善。 3. 从原子能力层思考:抽象化拆解大模型的底层能力,如翻译、识别、提取、格式化等,围绕“输入”“处理”“输出”“反馈”构建最底层的信息处理逻辑。 4. 重塑获取信息的方式:搜索引擎和基于大模型的聊天机器人的目标从根本上一致,可根据需求选择。 5. 注意多 Agent 模式中的设置:分为全局设置和节点设置。全局设置中更应注意角色定义和人物刻画,节点设置更关注单个智能体中要详细执行的逻辑。 6. 合理编排智能体:将智能体编排首尾相连,避免成为线性工作流。 7. 明确跳转模式和适用场景:单个 Agent 中两种跳转模式分别适用于通用和复杂的意图识别和跳转,一般场景下前者效果更好,后者适用更复杂的意图识别情景。同时,编排时应明确单个 Agent 的名称和适用场景,以便节点跳转模型更好地识别触发条件。
2025-02-19
写一篇关于个人AI生存协作的探索指南
以下是一篇关于个人 AI 生存协作的探索指南: 一、相关研究和报告 1. 平安证券发布的《AI 系列深度报告(六):AI 智能眼镜:AI 技术应用落地新风口,25 年有望迎来新品密集发布》指出,AI 技术推动终端创新,AI 智能眼镜成为新风口,具有轻薄、功能聚焦视听、佩戴舒适等特点,预计 2025 年新品将密集发布,销量有望翻倍。 2. 腾讯研究院发布的《2025 年 AI 转型的进展洞察报告》深入探讨了 AI 转型的定义、内涵、应用现状、投资情况、挑战与风险以及未来展望。报告指出企业对生成式 AI 的探索集中在核心业务环节,但在职能性环节成熟度更高,应用时以多目标为导向,优先聚焦提升核心能力和优化现有业务。 二、基础篇 过去一年持续进行了关于 AI 协作探索的研究和分享,包括 AI 产品的流量和竞争视角分析等。 三、协同智能的七种武器 1. 认知层/武器一:As Team,Be Leader 2. 视角层/武器二:AI as Person 3. 视角层/武器三:AI as ME 4. 视角层/武器四:AI as Alien 5. 实践层/武器五:AI as Tool 6. 实践层/武器六:AI as Mirror&Coach 7. 实践层/武器七:AI as Coworker&Friend 四、拓展阅读 包括 Gamma embed、AIGC 行业、AI 变革、公司/产业实践等方面的内容。 五、人类价值的低替代、提升方向和方式重塑 在领导决策、创新思维、沟通能力等方面,思考和创新占 70%,想法的实现执行和与 AI 协作执行占 30%。
2025-02-12
智能鸿沟和国际协作写认识理解、研究方向、未来
以下是关于智能鸿沟和国际协作的认识理解、研究方向及未来的相关内容: 认识理解: 目前对于智能鸿沟的研究主要集中在人工智能、自动化等相关趋势在不同行业中对劳动力的影响,包括其造成的劳动力跨部门的变化,以及由此产生的劳动力需求和就业机会。 研究方向: 研究不同行业因人工智能的广泛采用所带来的劳动力影响。 探索人工智能在各行业广泛应用所产生的劳动力需求和就业机会。 明确更好地理解和追踪劳动力影响、需求及机会方面存在的研究差距和所需数据。 提出应对上述挑战和机遇的建议。 未来: 在未来的研究中,需要进一步深入探讨智能鸿沟在全球范围内的演变和影响,以及国际协作在应对智能鸿沟方面所能发挥的作用。通过国际间的合作,共同制定策略,以缩小不同国家和地区在人工智能应用和发展方面的差距,促进全球的平衡发展。同时,持续关注人工智能技术的新发展和其对劳动力市场的动态影响,及时调整应对策略。
2024-12-18
多智能体协作
多智能体协作是指多个智能体协同工作以解决任务的系统。 CAMEL 框架新增了多智能体协作 Workforce 模块。Workforce 是一个让多个 Agent 协同工作以解决任务的系统,采用分层架构,包含多个工作节点,每个工作节点可以包含一个或多个 Agent 作为工作者,由协调 Agent 进行管理,还有任务规划 Agent 负责将任务分解和组合。 选择 Workforce 的原因在于其具有动态问题解决能力,与传统 Workflow 工作流不同,能实时适应,自动分解问题、重新启动新的 Agent 并持续迭代,直到任务完全解决,这种灵活性使其在大规模解决复杂问题时成为改变游戏规则的工具。详情可在官网的 Doc 中查看:https://docs.camelai.org/key_modules/workforce.html 。 多智能体(MultiAgent)是由多个自主、独立的智能体(Agent)组成的系统,每个智能体都能感知环境、决策并执行任务,且能信息共享、任务协调和协同行动以实现整体目标。随着大型语言模型(LLM)的出现,以 LLM 为核心构建的 Agent 系统受到广泛关注,目前常见框架有单 Agent 和多 Agent 场景。单 Agent 核心在于 LLM 与工具的协同配合,多 Agent 会为不同 Agent 指定不同角色并通过协作完成复杂任务。构建多 Agent 框架需要考虑环境(所有 Agent 处于同一环境,环境包含全局状态信息,Agent 与环境有信息交互与更新)、阶段(采用 SOP 思想将复杂任务分解为多个子任务)、控制器(可以是 LLM 或预先定义好的规则,负责环境在不同 Agent 和阶段之间的切换)和记忆(多 Agent 框架中由于 Agent 数量增多,消息数量增多,每条消息可能需记录更多字段)等组件。 在工作流 Workflow 方面,也可以理解为多智能体协作。以“什么值得买”智能体为例,通过多个智能体的组装解决复杂场景的搜索问题,如给新产品取名,涉及多个步骤和智能体的协作,还需要有调度中枢协调工作和做决策。
2024-11-25
Agents协作的系统架构图应该怎么画
以下是关于绘制 Agents 协作的系统架构图的一些参考信息: 首先,了解 Agent 的基本框架,即“Agent = LLM + 规划 + 记忆 + 工具使用”。其中大模型 LLM 扮演了 Agent 的“大脑”。 规划方面,主要包括子目标分解、反思与改进。子目标分解能将大型任务分解为较小可管理的子目标来处理复杂任务,反思和改进则可以对过去的行动进行自我批评和自我反思,从错误中学习并改进未来的步骤,从而提高最终结果的质量。 记忆分为短期记忆和长期记忆。短期记忆是将所有的上下文学习看成利用模型的短期记忆来学习;长期记忆提供了长期存储和召回信息的能力,通常通过利用外部的向量存储和快速检索来实现。 工具方面,不同的任务和场景需要选择合适的工具。 在生成式 AI 的人机协同中,分为 Embedding(嵌入式)、Copilot(副驾驶)、Agent(智能代理)3 种产品设计模式,人与 AI 的协作流程有所差异。在 Agents 模式下,AI 完成大多数工作。 可以通过 Multiagent Collaboration 的方法,让不同角色的 Agent 按照任务要求自主规划选择工具、流程进行协作完成任务。例如,作为产品经理角色,可将产品功能设计需求通过 Agents 拆解成多个独立的任务,然后遵循不同的工作流,最后生成一份大致符合期望的输出结果,再进行修改完善。 此外,还可以参考一些实例探究,如提示 LLM 提供 100 个最新观察结果,并根据这些观测/陈述生成 3 个最重要的高层次问题,然后让 LLM 回答这些问题。规划和反应时要考虑主体之间的关系以及一个主体对另一个主体的观察,环境信息以树形结构呈现。
2024-08-18