如何在微信中私有化部署开源模型

以下是零成本、零代码搭建一个智能微信客服的保姆级教程： 1. 起个好名字和给它头像 进入 Bot 主页并开始创建 Bot，网址：https://www.coze.cn/home 。 名字（Bot 名称）：善良有爱专业的幼师。 头像（图标）：AI 生成后，不喜欢可以重新生成，选择其中一个。 补充：创建 Bot 的方式有两种，点击创建 Bot 和 Coze Assistant。主页上包含这两种方式，示例中通过创建 Bot 创建。侧边导航栏一直有创建 Bot 的方式，仅主页有 Coze Assistant。两者区别在于： 创建 Bot 适合使用过 Bot 且想好名称和描述的人。 Coze Assistant 适合第一次创建 Bot 的人，从说“我想创建 bot”开始，Coze 助理会引导创建，自动生成名称、头像、人设与回复逻辑、开场白文案、开场白预设问题等。 2. 教她技能 如果通过 Coze Assistant 方式创建 Bot，Coze 助理已帮您教她技能，可按需修改完善。 起好名字和头像后进入教技能环节，先看整理布局，找到编排、预览与调试，在编排的人设与回复逻辑教她技能： 教她技能 1：认识自己。 教她技能 2：掌握专业技能。 教她技能 3：不能做什么。 3. 让她教别人 她学会技能后，使命及目标是通过互动方式教会请教的人。 找到高级下开场白，点击展开，填写开场白文案、开场白预置问题，设置 3 个问题。 勾选用户问题建议：在 Bot 回复后，根据 Prompt 提供最多 3 条用户提问建议。 添加语音选择：让她不仅会写，还会通过语音交流。 点击“发布”，选择发布平台：Bot Store、豆包、飞书、微信客服、微信公众号（服务号）、微信公众号（订阅号）、掘金。 Bot Store：Bot 会出现在 Coze Bot 商店中，获取更多曝光和流量。 豆包：一键发布到豆包 App，随时随地对话。 飞书：在飞书中直接@Bot 对话，提高工作生产力。 微信客服：微信沟通更高效，发布流程较复杂，下面是重新注册和解绑后重新配置的流程。 微信公众号（服务号）：针对企业，不支持个人注册，订阅号运营主体可为企业或个人。 微信公众号（订阅号）：托管公众号消息，助力微信运营。 掘金：在掘金社区 AI 聊天室圈子与 Bot 互动。

要将 Coze 智能体接入微信，可按以下步骤操作： 1. 登录宝塔面板，在宝塔面板中可视化控制云服务器，部署 docker 容器，启动 COW 项目与微信取得关联。具体操作包括：点击“Docker”中的“项目模板”中的“添加”按钮，将编译好的内容复制进来，在容器中创建容器，选择容器编排，填入模板和名称，确定。运行成功后，点击容器，可以看到运行的是两个服务。 2. 在扣子官网左下角选择扣子 API，在 API 令牌中选择“添加新令牌”，为令牌命名，选择永久有效作为过期时间，指定团队空间，勾选所有权限。保存好令牌的 Token，切勿向他人泄露。 3. 获取机器人 ID：在个人空间中找到要接入微信的机器人，进入机器人编辑界面，浏览器地址栏 bot/之后的数据就是该机器人的 Bot ID。 4. 进行 API 授权：点击右上角发布，勾选 Bot as API，确定应用已成功授权 Bot as API。 5. 绑定微信：准备一个闲置的微信，点击容器，点击“wcandyaibot”后面的日志按钮，用提前预备好的微信进行扫码。手动刷新界面，点击“刷新日志”，若看到 WeChat login success，即表示微信登录成功。为确保微信实时在线，点击“日志管理”的“wcandyaibot”的“刷新日志”，若显示“wechat login seccess”则表示微信正常登录中。 6. 效果测试：把绑定的微信号拉到群里或者单独对话，训练的数据越好，对话效果越好。

以下是搭建微信机器人的步骤： 1. 登录成功后，找另一个人私聊或者在群中@您，就可以看到机器人的正常回复，此时表示已通。 2. 如果想为这个 AI 赋予提示词，可以返回相应步骤进行更改。例如在“目录 4 里的第 17 步”或“第三章，第 7 步”，其中双引号内的 value 部分，便是设置 AI 提示词的地方。 3. 此后，进行任何更改，都需要重新打印登陆二维码。并且一个月内，不要上来就加好友、最好不要私聊聊天。 4. 报错"wxsid"是因为微信未实名，实名即可解决。 5. 如果没有手机登录，可以使用夜神模拟器模拟手机登录。 6. 重新在“文件”的【终端】里，直接输入 nohup python3 app.py&tail f nohup.out 重新扫码登录。 7. 多次重新登录后，就在宝塔“首页右上角点击重启，重启一下服务器”，清理进程。 8. 熟悉 linux 操作的话，也可以通过重启进程的方式来重启服务。 9. 如果想退出机器人，在手机微信上找到桌面版已登录的信息，点击退出桌面版即可。 此外： 1. Link AI 提供的 100 个，合计 3500 万 GPT3.5 Token 的礼品码。可以用来实现画图、搜索、识图等功能，COW 插件里几乎都支持使用 LinkAI 平台。完成机器人搭建，机器人拉群里，领兑换码。 2. 添加微信，拉您进机器人群，先行体验。 如果您仍旧遇到问题，可以先查询社区知识库，或者加“通往 AGI 之路”群，社区小伙伴们会尽力帮助。也可以加 Stuart 个人微信询问。

以下是零成本、零代码搭建一个智能微信客服的保姆级教程： 1. 起个好名字和给它头像 进入 Bot 主页并开始创建 Bot，网址：https://www.coze.cn/home 。 名字（Bot 名称）：善良有爱专业的幼师。 头像（图标）：AI 生成后，不喜欢可以重新生成，选择其中一个。 补充：创建 Bot 的方式有两种，点击创建 Bot 和 Coze Assistant。主页上包含这两种方式，示例通过创建 Bot 创建。侧边导航栏一直有创建 Bot 方式，仅主页有 Coze Assistant。两者区别为： 创建 Bot 适合使用过 Bot 且想好名称和描述的人。 Coze Assistant 适合第一次创建 Bot 的人，从说“我想创建 bot”开始，Coze 助理会引导创建，自动生成名称、头像、人设与回复逻辑、开场白文案、开场白预设问题等。 2. 教她技能 如果通过 Coze Assistant 方式创建 Bot，Coze 助理已帮教技能，可按需修改完善。 起好名字和头像后进入教技能环节，先看整理布局，找到编排、预览与调试，在编排的人设与回复逻辑教她技能： 教她技能 1：认识自己。 教她技能 2：掌握专业技能。 教她技能 3：不能做什么。 3. 让她教别人 她学会技能后，使命及目标是通过互动方式教会请教的人。 找到高级下开场白，点击展开，填写开场白文案、开场白预置问题，设置 3 个问题。 勾选用户问题建议：在 Bot 回复后，根据 Prompt 提供最多 3 条用户提问建议。 添加语音选择：让她不仅会写，还会通过语音交流。 点击“发布”，选择发布平台：Bot Store、豆包、飞书、微信客服、微信公众号（服务号）、微信公众号（订阅号）、掘金。 Bot Store：Bot 会出现在 Coze Bot 商店中，获取更多曝光和流量。 豆包：一键发布到豆包 App，随时随地对话。 飞书：在飞书中直接@Bot 对话，提高工作生产力。 微信客服：微信沟通更高效，是本次分享重点，发布较复杂，下面是重新注册和解绑后重新配置微信客服的流程。 微信公众号（服务号）：针对企业，不支持个人注册，订阅号运营主体可为企业或个人。 微信公众号（订阅号）：托管公众号消息，助力微信运营无间断。 掘金：在掘金社区 AI 聊天室圈子与 Bot 互动。

微信机器人的配置步骤如下： 1. sum4all 配置 进入插件目录：/root/chatgptonwechat/plugins 找到 sum4all 插件目录下的 config.json.template，复制并粘贴重命名为：config.json 注册并获取 sum4all key：https://pro.sum4all.site/register?aff=T6rP ，新用户注册有送免费额度，大家先使用这个进行试用，后续可改为自己的 openAI key。 把复制的 key，粘贴到 sum4all 的 config.json 文件内。（上方有功能阐述，你想要哪个，就把哪个改成 ture） 2. Apilot 配置 进入插件目录：/root/chatgptonwechat/plugins 找到 Apilot 文件下的 config.json.template，复制并粘贴重命名为：config.json 去 https://admin.alapi.cn/account/center 注册，并复制 key 把复制来的 key，粘贴进入。保存。 3. 分段对话配置替换 找到这个路径：/root/chatgptonwechat/channel/wechat，直接下载以下文件进行替换。 此外，微信的配置相对较简单，只需要主项目的 config.json 文件看看是否有"channel_type"参数，参数值为："wx"，即："channel_type":"wx"。完成以上所有配置部分后，可以准备启动步骤了： 使用 nohup 命令在后台运行程序。 执行完启动脚本，等待 30s 左右，会看到终端有一个微信登录的二维码，微信扫码登录。 如果您想使用更多辅助功能，比如使用总结文件能力，总结网页内容能力，此时需要安装各种插件。这部分配置查看插件配置管理部分。

以下是一些专门学习配置微信机器人和企业微信机器人的相关教学视频： 【共学最全版本】微信机器人共学教程： 日程安排： 6 月 19 日 20:00 开始：从零到一，搭建微信机器人，参与者要求为 0 基础小白，分享人为张梦飞，主持人为小元，助教为金永勋、奥伏。 6 月 20 日 20:00 开始：Coze 接入、构建你的智能微信助手，分享人为张梦飞，主持人为吕昭波，助教为安仔、阿飞。 6 月 23 日 20:00 开始：微信机器人插件拓展教学，要求完成第一课，分享人为张梦飞，主持人为安仔，助教为空心菜、AYBIAO、阿飞。 6 月 24 日 20:00 开始：虚拟女友“李洛云”开发者自述，要求完成第一课，分享人为皮皮，主持人为大雨。 6 月 25 日 20:00 开始：FastGPT：“本地版 coze"部署教学，要求完成第一课，分享人为张梦飞，主持人为银海，助教为金永勋、AYBIAO。 6 月 27 日 20:00 开始：Hook 机制的机器人使用和部署教学，要求 0 基础小白，有一台 Windows 10 以上系统的电脑，分享人为张梦飞，主持人为 Stuart，助教为阿飞、空心菜。 第二天教程内容： 修改配置：主要更改标黄的四行，可以直接清空原文件配置，把以下配置粘贴进你的 config.json 文件中。 获取 key 和 id：进入官网 https://www.coze.cn/home ，获取到的令牌就是"coze_api_key"，像下方一样填入即可。"coze_api_key":"pat_diajdkasjdlksajdlksajdasdjlkasjdlas"，获取 bot_id 并填入："coze_bot_id":"86787989080"。 微信机器人大事件记录： 皇子：零成本、零代码搭建一个智能微信客服，保姆级教程 安仔：不用黑魔法，小白也能做一个对接 GPT 大模型的微信聊天机器人 张梦飞：【保姆级】一步一图，手把手教你把 AI 接入微信 张梦飞：FastGPT+OneAPI+COW 带有知识库的机器人完整教程 张梦飞：基于 Hook 机制的微信 AI 机器人，无需服务器，运行更稳定，风险更小 张梦飞：【保姆级教程】这可能是你在地球上能白嫖到的，能力最强的超级微信机器人！一步一图，小白友好 在自己的电脑上部署 COW 微信机器人项目

以下是一些自动生成提示词的开源工具： 1. Freepik 推出的 Reimagine AI 工具：用户上传图片即可自动生成提示词，无需输入文字。它还能实时提供无限滚动结果展示，边操作边生成图像，通过调整提示词实时修改图片细节，并支持多种风格切换。相关链接：https://freepik.com/pikaso/reimagine 、https://x.com/imxiaohu/status/1770437135738581414?s=20 2. StreamMultiDiffusion 项目：使用区域文本提示实时生成图像，具有交互式操作体验，每个提示控制一个区域，实现精准图像生成。相关链接：https://arxiv.org/abs/2403.09055 、https://github.com/ironjr/StreamMultiDiffusion?tab=readmeovfile 、https://huggingface.co/spaces/ironjr/SemanticPalette 、https://x.com/imxiaohu/status/1770371036967850439?s=20 3. 【SD】自动写提示词脚本 One Button Prompt：可以在主菜单输入人物提示词，在“高级”中设置提示词混合，还具有一键运行放大的模块，包括完整的文生图放大和图生图放大，甚至可接入其他脚本和 controlnet。获取方式：添加公众号【白马与少年】，回复【SD】。

以下是关于开源 Flux 模型快速使用的方法： 1. 模型的下载： 如果因为环境问题，可以在网盘中下载。 siglipso400mpatch14384（视觉模型）：siglip 由 Google 开发的视觉特征提取模型，负责理解和编码图像内容。工作流程包括接收输入图像、分析图像的视觉内容并将这些视觉信息编码成一组特征向量。打开 ComfyUI\models\clip，在地址栏输入 CMD 回车，打开命令行，输入下面的命令拉取模型（也可以在网盘里下载）。 image_adapter.pt（适配器）：连接视觉模型和语言模型，优化数据转换。工作流程包括接收来自视觉模型的特征向量、转换和调整这些特征，使其适合语言模型处理。通过 https://huggingface.co/spaces/fancyfeast/joycaptionprealpha/tree/main/wpkklhc6 下载，放到 models 的 Joy_caption 文件夹里，如果该文件夹不存在，就新建一个。 MetaLlama3.18Bbnb4bit（语言模型）：大型语言模型，负责生成文本描述。工作流程包括接收经过适配器处理的特征、基于这些特征生成相应的文本描述、应用语言知识来确保描述的连贯性和准确性。打开 ComfyUI\models\LLM，地址栏输入 CMD 回车，在命令行里面输入下面命令。 2. 下载地址： ae.safetensors 和 flux1dev.safetensors 下载地址：https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 准备了夸克和百度的网盘链接，方便部分同学下载： flux 相关模型（体积较大）的夸克网盘链接：https://pan.quark.cn/s/b5e01255608b 。 flux 相关模型（体积较大）的百度网盘链接：https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码：ub9h 。 如果 GPU 性能不足、显存不够，底模可以使用 fp8 的量化版模型，速度会快很多，下载地址：https://huggingface.co/Kijai/fluxfp8/tree/main 。 3. 工作流下载： 最后我们再下载 dev 的工作流： 。或者下面官方原版的图片链接，图片导入 comfyUI 就是工作流：https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png 。我们打开 ComfyUI，把工作流或图片拖拽到 ComfyUI 里。

以下是一些开源的 AI Agent 软件： 1. AutoGPT 和 BabyAGI：在去年 GPT4 刚发布时风靡全球科技圈，给出了让 LLM 自己做自动化多步骤推理的解题思路。 2. Coze：新一代的一站式 AI Bot 开发平台，适用于构建基于 AI 模型的各类问答 Bot，集成了丰富的插件工具。 3. Mircosoft 的 Copilot Studio：主要功能包括外挂数据、定义流程、调用 API 和操作，以及将 Copilot 部署到各种渠道。 4. 文心智能体：百度推出的基于文心大模型的智能体（Agent）平台，支持开发者根据自身需求打造大模型时代的产品能力。 5. MindOS 的 Agent 平台：允许用户定义 Agent 的个性、动机、知识，以及访问第三方数据和服务或执行设计良好的工作流。 6. 斑头雁：2B 基于企业知识库构建专属 AI Agent 的平台，适用于客服、营销、销售等多种场景，提供多种成熟模板，功能强大且开箱即用。 7. 钉钉 AI 超级助理：依托于钉钉强大的场景和数据优势，在处理高频工作场景如销售、客服、行程安排等方面表现出色。 此外，智谱·AI 开源的语言模型中也有与 Agent 相关的，如 AgentLM7B、AgentLM13B、AgentLM70B 等。

Anthropic 于 2024 年 11 月推出并开源了 MCP（模型上下文协议）。MCP 就像一个“转接头”或“通用插座”，能统一不同的外部服务，如 Google Drive、GitHub、Slack、本地文件系统等，通过标准化接口与大语言模型对接。开发者基于 MCP 规范开发一次“接口适配器”（MCP 服务器），就能让所有兼容 MCP 的模型（MCP 客户端）无缝接入，无需针对每个模型单独适配，大幅提升兼容性与开发效率。MCP 里面还包含 SSE（ServerSent Events），是一种允许服务器向浏览器推送实时更新的技术。MCP 像为 AI 模型量身定制的“USBC 接口”，可以标准化地连接 AI 系统与各类外部工具和数据源。与传统 API 相比，MCP 是单一协议，只要一次整合就能连接多个服务；具有动态发现功能，AI 模型能自动识别并使用可用的工具；支持双向通信，模型不仅能查询数据，还能主动触发操作。相关链接：

以下是 2025 年 3 月 1 日以来，国内外、闭源开源模型厂商的部分更新记录： 2025 年 3 月 20 日，OpenAI 推出了一套全新的音频模型，旨在通过 API 为开发者提供更智能、更可定制的语音代理支持，包括改进的语音转文本和文本转语音功能，为语音交互应用带来显著提升。 李开复公开表示 OpenAI 面临生存危机，商业模式不可持续。他强调中国的 DeepSeek 以极低成本提供接近的性能，开源模式将主导未来 AI 发展。他认为企业级 AI 应用将成为投资重点，资源限制反而促进了创新。李开复大胆预测，中国将出现三大 AI 玩家，竞争愈发激烈。 SuperCLUE 发布《中文大模型基准测评 2025 年 3 月报告》，指出 2022 2025 年经历多阶段发展，国内外模型差距缩小。测评显示 o3mini总分领先，国产模型表现亮眼，如 DeepSeekR1 等在部分能力上与国际领先模型相当，且小参数模型潜力大。性价比上，国产模型优势明显。DeepSeek 系列模型深度分析表明，其 R1 在多方面表现出色，蒸馏模型实用性高，不同第三方平台的联网搜索和稳定性有差异。 以上信息来源包括： 《》 《》 《》

目前在 AI 作图领域，Stable Diffusion 仍然是常用的工具之一。Stable Diffusion 是 AI 绘画领域的核心模型，能够进行文生图和图生图等图像生成任务，其完全开源的特点使其能快速构建强大繁荣的上下游生态。 除了 Stable Diffusion，也出现了一些新的相关开源软件和工具，例如： ：Stability AI 开源的 AI 图像生成平台。 ：拥有超过 700 种经过测试的艺术风格，可快速搜索查找各类艺术家，并支持一键复制 Prompt。 同时，市面上主流的 AI 绘图软件还有 Midjourney，其优势是操作简单方便，创作内容丰富，但需要科学上网并且付费。如果您想尝试使用 Stable Diffusion，可以参考 B 站【秋葉 aaaki】这个 Up 主的视频了解具体的安装方法。

DeepSeek 的私有化部署相关信息如下： PaaS 平台特性：支持多机分布式部署，满足推理性能要求，使用独占资源和专有网络，能一站式完成模型蒸馏。 云端部署操作：登录 Pad 控制台，通过 model gallery 进行部署，如 Deepseek R1 模型，可选择 SG 浪或 Vim 推理框架，根据资源出价，部署后可在模型在线服务 EAS 查看状态。 模型试用方法：使用 postman，通过修改接口和复制文档中的内容进行在线调试，发送请求查看状态码，根据模型名称和相关要求输入内容进行试用。 作业布置：部署成功一个大语言模型，通过调试证明成功，在调试内容中带上钉钉昵称向模型对话，将成功结果提交问卷可获得阿里云小礼包。 API 调用与服务关停：介绍了模型 API 的调用方法，包括查找位置、获取 token 等，强调使用后要及时停止或删除服务以避免持续付费。 模型蒸馏概念：教师模型将知识蒸馏给学生模型，有多种蒸馏方式，如 R1 通过蒸馏数据集并用于学生模型微调。 蒸馏应用场景：包括车机等算力有限场景，能让小模型在特定领域有良好效果，还能实现低成本高速推理和修复模型幻觉。 模型部署实操：在 model gallery 中选择模型，如 1000 问 7B 指令模型，进行部署，选择 VIM 加速和竞价模式，查看部署状态和日志。 本地部署介绍：讲解了如果拥有云服务器如何进行本地部署，以及满血版本地部署的实际情况。 免费额度说明：在 freely.aliyun.com 可领取 500 元免费额度，但有使用限制，不能部署满血版和较大的增流模型。 平台服务差异：介绍了 DLC、DSW 和 EAS 等模型部署平台服务的差别。 模型蒸馏微调：会带着大家复现模型的蒸馏和微调，并讲解相关知识。 Deepseek R1 模型的制作及相关模型比较：R1 模型通过强化学习，在训练过程中给予模型反馈，如路线规划是否成功到达终点、输出格式是否符合期望等，对正确路线增强权重，使做对的概率变高，导致思考逻辑变长。用 Deepseek RE Zero 蒸馏出带思考的数据，基于 Deepseek V3 微调，进行冷启动，再做强化学习，还从非公布模型提取微调数据，加上人类偏好，最终形成 R1。R1 是原生通过强化学习训练出的模型，蒸馏模型是基于数据微调出来的，基础模型能力强，蒸馏微调模型能力也会强。R1 反过来蒸馏数据微调 V3，形成互相帮助的局面，使两个模型都更强。

要一步一步实现 RAG 模型的私有化部署，可参考以下步骤： 1. 导入依赖库：加载所需的库和模块，如 feedparse 用于解析 RSS 订阅源，ollama 用于在 python 程序中跑大模型，使用前需确保 ollama 服务已开启并下载好模型。 2. 从订阅源获取内容：通过特定函数从指定的 RSS 订阅 url 提取内容，若需接收多个 url 稍作改动即可。然后用专门的文本拆分器将长文本拆分成较小块，并附带相关元数据，如标题、发布日期和链接，最终合并成列表返回用于后续处理或提取。 3. 为文档内容生成向量：使用文本向量模型 bgem3，从 hf 下载好模型后放置在指定路径，通过函数利用 FAISS 创建高效的向量存储。 4. 关于 ollama： 支持多种大型语言模型，包括通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同场景。 易于使用，适用于 macOS、Windows 和 Linux 系统，同时支持 cpu 和 gpu。 提供模型库，用户可从中下载不同模型，满足不同需求和硬件条件，可通过 https://ollama.com/library 查找。 支持自定义模型，可修改模型温度参数等。 提供 REST API 用于运行和管理模型及与其他应用集成。 社区贡献丰富，有多种集成插件和界面。 需先安装，访问 https://ollama.com/download/ 下载安装，安装后确保 ollama 后台服务已启动。 5. 基于用户问题从向量数据库中检索相关段落，根据设定阈值过滤，让模型参考上下文信息回答问题实现 RAG。 6. 创建网页 UI：通过 gradio 创建网页 UI 并进行评测。 总结： 1. 本文展示了如何使用 Langchain 和 Ollama 技术栈在本地部署资讯问答机器人，结合 RSSHub 处理和提供资讯。 2. 上下文数据质量和大模型的性能决定 RAG 系统性能上限。

RAG 模型的私有化部署通常在商业化过程中被用于结合企业私有数据。在企业有特殊需求时，还可对模型进行微调以优化性能。基础模型负责提供推理提示，RAG 用于整合新知识，实现快速迭代和定制化信息检索。 构建有效的 RAG 系统需要考虑多个因素： 1. 数据安全性：若有需求，需进行私有化部署，并考虑硬件成本。 2. 数据集复杂度和数量级：复杂数据集带来高昂的文档清洗、解析和分割成本，大数据量级带来存储成本上升。 3. 回答质量要求：要求越高，需要越复杂的检索算法和更强大的 LLM，带来算力成本。 4. 数据更新频率：频繁更新可能需要高昂的维护成本。 此外，实现本地部署资讯问答机器人时，如 Langchain + Ollama + RSSHub 实现 RAG，需导入依赖库、从订阅源获取内容、为文档内容生成向量等步骤。

RAG 模型的私有化部署通常在商业化过程中被用于结合企业私有数据。在企业有特殊需求时，还可对模型进行微调以优化性能。基础模型负责提供推理提示，RAG 用于整合新知识、实现快速迭代和定制化信息检索。 构建有效的 RAG 系统并不简单，企业若要进行私有化部署，需考虑以下因素： 1. 数据安全性：若有需求，需考虑硬件成本。 2. 数据集复杂度和数量级：复杂数据集会带来高昂的文档清洗、解析和分割成本，大数据量级会带来存储成本上升。 3. 回答质量要求：要求越高，需要越复杂的检索算法和更强大的 LLM，会带来算力成本。 4. 数据更新频率：频繁更新可能需要高昂的维护成本。 此外，实现 RAG 模型私有化部署还涉及一些技术操作，如本地部署资讯问答机器人时，需要导入依赖库、从订阅源获取内容、为文档内容生成向量等。

目前没有明确的信息表明 AI Agent MANUS 个人助手可以本地私有化部署。 Manus 是一款由中国团队研发的全球首款通用型 AI 代理工具，于 2025 年 3 月 5 日正式发布。它区别于传统聊天机器人，具备自主规划、执行复杂任务并直接交付完整成果的能力。其技术架构主要基于多智能体架构，运行在独立的虚拟机中，核心功能由多个独立模型共同完成，包括规划、执行和验证三个子模块，还包括虚拟机、计算资源、生成物、内置多个 agents 等关键组件，并采用了“少结构，多智能体”的设计哲学。 但对于其是否能本地私有化部署，现有资料未给出确切说明。在构建高质量的 AI 数字人方面，由于整个数字人的算法部分组成庞大，几乎不能实现单机部署，特别是大模型部分，算法一般会部署到额外的集群或者调用提供出来的 API。而在本地部署资讯问答机器人方面，有相关案例，但未提及与 AI Agent MANUS 个人助手的直接关联。

以下是关于 DeepSeek 私有化训练的相关信息： 模型测试、问题探讨与新模型部署过程： 探讨了模型存在幻觉、答案有概率性等问题，并对比了加提示词前后的情况。 准备从 32B 蒸馏新模型，提及该模型的资源需求及阿里云拍卖机制。 介绍了启动 DSW 获取廉价 CPU 资源，以及部署模型时因库存不足不断加价的过程。 派平台大模型训练与微调实操讲解： 许键分享了抢硬件资源的方法，演示了通过提问蒸馏标注数据。 讲解了在派平台训练模型的流程，包括参数设置、数据集上传等，并展示了训练效果和日志查看。 说明了训练好的模型部署方法，强调训出满意模型需要大量基础知识学习。 模型蒸馏微调演示、平台介绍与问题解答： 许键展示了模型微调后的效果，如幻觉下降等。 介绍了阿里云解决方案，对比了百炼和派平台的差异。 进行了 Q&A，回答了无监督学习微调、训练数据资源、多模态训练标注、Python 代码报错等问题，提及派平台有公用数据集，还举例说明了多模态标注方式。 总结： 本地部署介绍：讲解了如果拥有云服务器如何进行本地部署，以及满血版本地部署的实际情况。 免费额度说明：在 freely.aliyun.com 可领取 500 元免费额度，但有使用限制，不能部署满血版和较大的增流模型。 平台服务差异：介绍了 DLC、DSW 和 EAS 等模型部署平台服务的差别。 模型蒸馏微调：会带着大家复现模型的蒸馏和微调，并讲解相关知识。 Deepseek R1 模型的制作及相关模型比较： R1 模型的强化学习：通过强化学习，在训练过程中给予模型反馈，对正确路线增强权重，使做对的概率变高，导致思考逻辑变长。 R1 模型的蒸馏与微调：用 Deepseek RE Zero 蒸馏出带思考的数据，基于 Deepseek V3 微调，进行冷启动，再做强化学习，还从非公布模型提取微调数据，加上人类偏好，最终形成 R1。 R1 与其他模型的差别：R1 是原生通过强化学习训练出的模型，蒸馏模型是基于数据微调出来的，基础模型能力强，蒸馏微调模型能力也会强。 模型的相互帮助：Deepseek R1 反过来蒸馏数据微调 V3，形成互相帮助的局面，使两个模型都更强。 智能章节： 许键介绍今日课程重点是云服务器上如何使用 Deepseek R1 及本地部署相关内容，提及派平台免费额度及适用模型。还介绍了自己和社区情况。接着讲解 Deepseek R1 制作过程，包括强化学习概念及示例，阐述其从 Deepseek r e Zero 到 M2 等模型的演变及原理。 主要介绍了 Deepseek R1 模型的构建过程，包括多轮强化学习和微调，还提及蒸馏模型的情况。探讨了不同模型部署所需的显存、内存及成本，对比了各模型在专业领域的能力表现。 介绍了以云基础设施和 GPU 算力资源为底层的派平台。该平台搭建 AI 框架并做优化，提供一键式快捷部署工具等。与百炼不同，它开放更多自由度，租户数据隔离。很多大模型在此训练，支持多机分布式部署等，既面向企业，也适合个人创业者，不同应用定价有差异。

大模型的系统提示词主要包括以下方面： 1. 在“五津：一键生成‘摸鱼打工猫’视频”中，针对用户选择的主题和回答，总结用户的创作意图，如“打工猫摸鱼的 2 小时，在巴厘岛能看一场日落”，并根据此生成 4 组体现幽默风趣、以宫崎骏风格描绘主角为摸秋刀鱼橘猫的绘图提示词，以数组形式输出到“tishici”，将用户意图输出到“biaoti”。 2. 在“云中江树：智能对决：提示词攻防中的 AI 安全博弈”中，系统提示词的相关防御措施分为输入侧、模型侧和输出侧三个部分。输入侧可进行意图识别、语义匹配等综合判断用户输入是否恶意；模型侧对于有能力的厂商应增强安全性并平衡性能，开发者则要在开发中带着安全意识优化系统提示词，加入安全引导和禁止内容等；输出侧可使用传统防御和内容过滤手段，并针对大模型特点进行私有数据泄露等检查。此外，还提到间接注入和提示词泄露的情况，间接注入常发生在应用获取依赖外部数据资源时，攻击者通过隐藏恶意指令完成攻击；提示词泄露指试图操纵模型输出获取部分或全部系统提示词，大模型输出内容可分为系统提示词、用户提示和助手提示词三段，通过攻击手段可获取系统提示词。

以下是对通义千问 Qwen2.5VL 模型的介绍： 版本：有 3B、7B 和 72B 三个尺寸版本。 主要优势： 视觉理解能力：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。 视频理解能力：支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。 万物识别：擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位：采用矩形框和点的多样化方式对通用物体定位，支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解：提升 OCR 识别能力，增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析：设计了更全面的文档解析格式，称为 QwenVL HTML 格式，能够精准还原文档中的版面布局。 增强的视频理解：引入动态帧率（FPS）训练和绝对时间编码技术，支持小时级别的超长视频理解，具备秒级的事件定位能力。 开源平台： Huggingface：https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope：https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat：https://chat.qwenlm.ai 然而，对于阶跃星辰 step1.5vmini 和 Gemini2.0Flash 模型，目前提供的信息中未包含其与通义千问 Qwen2.5VL 模型的直接对比内容，因此无法确切判断哪个模型在视觉理解方面最厉害。但从通义千问 Qwen2.5VL 模型的上述特点来看，其在视觉理解方面具有较强的能力和优势。

目前在视频视觉理解能力方面表现出色的大模型有： 1. 昆仑万维的 SkyReelsV1：它不仅支持文生视频、图生视频，还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。擅长万物识别，能分析图像中的文本、图表、图标、图形和布局等。

目前全世界较为厉害的视频视觉理解大模型有以下几个： 1. 昆仑万维的 SkyReelsV1：不仅支持文生视频、图生视频，是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元：语义理解能力出色，能精准还原复杂的场景和动作，如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5：全球最快的 AI 视频生成模型，Turbo 模式下可在 10 秒内生成视频，最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能，具备顶尖动漫生成能力。

目前在视觉理解大模型方面，较为突出的有 DeepSeek 的 JanusPro 模型，它将图像理解和生成统一在一个模型中；还有通义千问的视觉理解模型，其价格有较大降幅。此外，Pixverse V3.5 是全球最快的 AI 视频生成模型，在某些方面也展现出了出色的能力。但很难确切地指出全世界最厉害的视觉理解大模型，因为这取决于不同的评估标准和应用场景。

大模型对话产品具有以下优点： 1. 具有强大的语言理解和生成能力。 2. 能够提供类似恋爱般令人上头的体验，具有一定的“想象力”和“取悦能力”。 3. 可以通过陪聊建立人和 AI 之间的感情连接，产品粘性不完全依赖技术优越性。 4. 能够为用户提供产品咨询服务，适用于有企业官网、钉钉、微信等渠道的客户。 5. 具有多种应用场景，如私有领域知识问答、个性化聊天机器人、智能助手等。 大模型对话产品也存在一些缺点： 1. 存在记忆混乱的问题。 2. AI 无法主动推动剧情，全靠用户脑补，导致用户上头期短，疲劳度高，长期留存低。 3. 无法回答私有领域问题（如公司制度、人员信息等）。 4. 无法及时获取最新信息（如实时天气、比赛结果等）。 5. 无法准确回答专业问题（如复杂数学计算、图像生成等）。