Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

本地部署大模型硬件配置

Answer

本地部署大模型的硬件配置如下：

  • 生成文字大模型：
    • 最低配置：8G RAM + 4G VRAM
    • 建议配置：16G RAM + 8G VRAM
    • 理想配置：32G RAM + 24G VRAM（如果要跑 GPT-3.5 差不多性能的大模型）
  • 生成图片大模型（比如跑 SD）：
    • 最低配置：16G RAM + 4G VRAM
    • 建议配置：32G RAM + 12G VRAM
  • 生成音频大模型：
    • 最低配置：8G VRAM
    • 建议配置：24G VRAM

需要注意的是，最低配置可能运行速度非常慢。对于 SDXL 大模型的本地部署，其分为两个部分，base + refiner 是必须下载的，还有一个配套的 VAE 模型用于调节图片效果和色彩。要在 webUI 中使用 SDXL 的大模型，需在秋叶启动器中将 webUI 的版本升级到 1.5 以上，然后将模型放入对应的文件夹中。对于通义千问的 Qwen2.5 - 1M 模型的本地部署，使用以下命令启动服务时要根据硬件配置进行设置，如设置 GPU 数量、最大输入序列长度、Chunked Prefill 的块大小、限制并发处理的序列数量等。如果遇到问题，可参考相关的 Troubleshooting 内容。与模型交互可以使用 Curl 或 Python 等方法，对于更高级的使用方式，可以探索如 Qwen - Agent 之类的框架。

Content generated by AI large model, please carefully verify (powered by aily)

References

手把手教你本地部署大模型以及搭建个人知识库

所有人都会手把手教你部署XX大模型，听起来很诱人，因为不需要科学上网，不需要高昂的ChatGPT会员费用。但是在开启下面的教程之前，我希望你能有个概念：运行大模型需要很高的机器配置，个人玩家的大多数都负担不起所以：虽然你的本地可能可以搭建出一个知识库，但是它不一定能跑的起来下面我通过一组数据来让大家有个感性的认知。以下文字来源于视频号博主：黄益贺，非作者实操生成文字大模型最低配置：8G RAM+4G VRAM建议配置：16G RAM+8G VRAM理想配置：32G RAM+24G VRAM（如果要跑GPT-3.5差不多性能的大模型）生成图片大模型（比如跑SD）最低配置：16G RAM+4G VRAM建议配置：32G RAM+12G VRAM生成音频大模型最低配置：8G VRAM+建议配置：24G VRAM而最低配置我就不建议了，真的非常慢，这个我已经用我自己8G的Mac电脑替你们试过了。讲这个不是泼大家冷水，而是因为我的文章目标是要做到通俗易懂，不希望通过夸大的方式来吸引你的眼球。这是这篇文章的第二次修改，我专门加的这段。原因就是因为好多小伙伴看了文章之后兴致冲冲的去实验，结果发现电脑根本带不动。但是这并不妨碍我们去手把手实操一遍，因为实操可以加深我们对大模型构建的知识库底层原理的了解。如果你想要私滑的体验知识库，可以参考我的另一篇文章：[胎教级教程：万字长文带你使用Coze打造企业级知识库](https://waytoagi.feishu.cn/wiki/CT3UwDM8OiVmOOkohPbcV3JCndb)好了，废话不多说，下面教程还是值得亲自上手搞一遍的，相信走完一遍流程后，你会对知识库有更深的理解。

【SD】向未来而生，关于SDXL你要知道事儿

SDXL的大模型分为两个部分：第一部分，base+refiner是必须下载的，base是基础模型，我们使用它进行文生图的操作；refiner是精炼模型，我们使用它对文生图中生成的模型进行细化，生成细节更丰富的图片。第二部分，是SDXL还有一个配套的VAE模型，用于调节图片的画面效果和色彩。这三个模型，我已经放入了云盘链接中，大家可以关注我的公众号【白马与少年】，然后回复【SDXL】获取下载链接。想要在webUI中使用SDXL的大模型，首先我们要在秋叶启动器中将webUI的版本升级到1.5以上。接下来，将模型放入对应的文件夹中，base和refiner放在“……\sd-webui-aki-v4.2\models\Stable-diffusion”路径下；vae放在“……\sd-webui-aki-v4.2\models\VAE”路径下。完成之后，我们启动webUI，就可以在模型中看到SDXL的模型了。我们正常的使用方法是这样的：先在文生图中使用base模型，填写提示词和常规参数，尺寸可以设置为1024*1024，进行生成。我这边使用了一个最简单的提示词“1girl”，来看看效果。生成的图片大家可以看一下，我觉得是相当不错的。我知道大家心里可能会想——“就这，还好吧，也没有那么惊艳吧？”，那么，我用同样的参数再给你画一幅sd1.5版本的图像，你就能看出进步有多大了。是不是没有对比就没有伤害？SDXL，真香！

通义千问发布一个模型开源两个模型-一个AI视觉智能体能力大幅增强，一个百万Tokens处理速度提升近7倍

使用以下命令启动服务，根据你的硬件配置进行设置：参数说明：--tensor-parallel-size设置为您使用的GPU数量。7B模型最多支持4个GPU，14B模型最多支持8个GPU。--max-model-len定义最大输入序列长度。如果遇到内存不足问题，请减少此值。--max-num-batched-tokens设置Chunked Prefill的块大小。较小的值可以减少激活内存使用，但可能会减慢推理速度。推荐值为131072，以获得最佳性能。--max-num-seqs限制并发处理的序列数量。如果遇到问题，请参考[Troubleshooting](https://huggingface.co/Qwen/Qwen2.5-7B-Instruct-1M#troubleshooting)相关内容。[heading3]4.与模型交互[content]你可以使用以下方法与部署的模型进行交互：选项1.使用Curl选项2.使用Python其他选项对于更高级的使用方式，可以探索如[Qwen-Agent](https://github.com/QwenLM/Qwen-Agent/tree/main)之类的框架。Qwen-Agent使模型能够读取PDF文件或获得更多功能。

Others are asking
AI硬件
以下是关于 AI 硬件的相关信息： 扣子 AI 工坊 硬件专场 推出全套硬件方案，将 DeepSeek 最新模型接入 AI 硬件，实现 1+1＞2。 活动亮点： 硬件实验室：现场设置智能硬件展示，看脑洞大开的产品。 硬件场景分享会：扣子硬件场景最佳实践和 2025 年硬件解决方案分享。 开发者体验营：开发者现场开发 AI 硬件，提供硬件开发板，60 分钟内完成“唤醒交互响应”全链路开发，40 分钟作品现场展示解说，展示作品的开发者可获得扣子周边礼物。 硬件厂商需求墙：与硬件厂商、开发者、扣子官方同学现场交流。 分享嘉宾（排名不分先后）：曾德钧（猫王妙播音响创始人/设计师）、刘琰（机智云联合创始人兼 CTO）、颜伟志（扣子开放体系技术负责人） 活动报名：扫描二维码报名，现场有拍立得、音响、扣子周边等礼品。报名时间为即日起至 2025 年 2 月 26 日。 2025 年 AI 指数报告 硬件的进步在推动 AI 发展中起着关键作用。在扩展模型和在更大的数据集上进行训练带来显著性能改进的同时，这些进步在很大程度上得益于硬件的改进，特别是更强大和高效的 GPU（图形处理单元）的发展。GPU 加速复杂计算，允许模型并行处理大量数据并显著减少训练时间。 Will's GenAI 硬件榜 2024 年 8 月 GenAI 硬件的定义：利用了 GenAI 技术，主要是 LLM，包括在音频生成、翻译、视觉采集并解读，和硬件结合，以可穿戴为主，逐步渗透的新品类硬件，以 Meta 雷朋眼镜为代表。 榜单受众：GenAI 硬件创始人、投资人、从业者等。 榜单标的：以北美市场的视角，销量、影响力为主。 榜单初心：随着 Meta 眼镜的成功，GenAI 硬件爆发在即，本榜单每月从多角度围观这一现象，旨在给创业者提供参考。 本次更新（9.19）： 更新亚马逊销量、独立站流量、新品发布、融资信息，排序标准以媒体综合指数改为 Tiktok 热度。 完善挂件、戒指、眼镜等分类榜数据。 榜单包括 15 个重要榜单，更多榜单可通过文末“阅读原文”免费访问或直接访问飞书链接。数据来源：google、tiktok、twitter、亚马逊。对于榜单内容有疑问想交流的 GenAI 硬件创始人，或者想合作转载内容的公众号博主，请加微信，或者在本文末留言。
2025-04-15
现在比较好用的AI硬件工具推荐一下，比如鼠标，眼镜，耳机啥的
以下是为您推荐的一些 AI 硬件工具： 1. 对于将 Raspberry Pi 连接到其他设备的配件，您可以参考： 防止过热的散热器 MicroUSB 转 USB 适配器，用于 Logitech 键盘的无线传感器 用于显示器的 MiniHDMI 转 HDMI 适配器 键盘和鼠标：推荐 2. 在可穿戴方面，以 GenAI 硬件为例，Meta 雷朋眼镜是具有代表性的产品。您还可以查看 GenAI 硬件榜单获取更多信息，比如： ，该榜单包含多个分类，数据来源包括 google、tiktok、twitter、亚马逊等。
2025-04-13
coze开发硬件接入ai
如果您想开发硬件接入 Coze 智能体，以下是一些相关信息： 在服务器设置方面，对于 chatgptonwechat（简称 CoW）项目，可点击“Docker”中的“编排模板”中的“添加”按钮。备注说明版可借用“程序员安仔”封装的代码。将编译好的内容复制进来，在“容器编排”中“添加容器编排”，选择在“编排模板”里创建的“coze2openai”，若无法正常启动，可查看文档后面的“常见问题”。 关于计划，包括弄共学、做网页连接 Coze 等，涉及网页、小程序、App、桌面应用、浏览器插件等方面，还提到了硬件相关的工作安排。 在入门 Coze 工作流方面，首先要明确任务目标与执行形式，包括详细描述期望获得的输出内容（如文本、图像、音频等形式的数据，以及具体格式和结构、质量标准），预估任务的可行性，确定任务的执行形式。例如对于一篇文章，可参照特定框架进行微调，评估任务可行性，结合使用习惯确定预期的执行形式。
2025-03-27
AI硬件
以下是关于 AI 硬件的相关信息： 扣子 AI 工坊将于 3 月 1 日在深圳举办硬件专场活动。活动亮点包括硬件实验室、硬件场景分享会、开发者体验营、硬件厂商需求墙等。分享嘉宾有曾德钧、刘琰、颜伟志等。可扫描二维码报名，报名时间为即日起至 2025 年 2 月 26 日，现场有礼品。 Will's GenAI 硬件榜 2024 年 8 月发布，榜单受众为 GenAI 硬件创始人、投资人、从业者等，以北美市场的销量、影响力为主，本次更新完善了相关数据和分类榜，更多榜单可通过链接访问。 峰瑞报告中提到，在 ToP 领域，峰瑞投资的冰鲸科技是一家 AI 智能硬件公司，推出了集成端侧 GPU 的旗舰产品 ZimaCube。ToB 方面，AI 应用进入企业内部可从“独立业务模块”和“通用技能模块”切入。
2025-03-26
有coze硬件的案例吗
以下是一些关于 Coze 硬件的案例： 1. 一泽 Eze：用 Coze 打造 AI 精读专家智能体，复刻 10 万粉公众号的创作生产力。 分步构建和测试 Agent 功能：首先进入 Coze，点击「个人空间工作流创建工作流」，打开创建工作流的弹窗。根据弹窗要求，自定义工作流信息。点击确认后完成工作流的新建。左侧「选择节点」模块中，实际用上的有插件、大模型、代码。按照流程图，在编辑面板中拖入对应的 LLM 大模型、插件、代码节点，即可完成工作流框架的搭建。 2. 90 分钟从 0 开始打造你的第一个 Coze 应用：证件照 2025 年 1 月 18 日副本。 智能纪要：Code AI 应用开发教学，背景是智能体开发从最初的 chatbot 只有对话框，到有了更多交互方式，因用户需求扣子推出了 AI 应用，其低代码或零代码的工作流等场景做得较好。 3. 大雨：【场景驱动】企业的哪些重复性任务，最适合用 Coze 循环节点来解决？ 案例展示：出海品牌设计师。早起智能体的逻辑通过工作流承载，比如让 AI 出图以后，希望在它的基础上再修改，直到满意为止，这种情况没有循环节点，整个工作流会非常复杂。从这个案例可以明显感受到，在智能体的交互上，循环节点的出现，带来极大的可能性。部分工作流的截图体现出 Coze 在实际业务场景上，具有非常巨大的商业价值。
2025-03-25
AI 硬件与软件市场趋势
以下是关于 AI 硬件与软件市场趋势的相关信息： 定见咨询发布的《人工智能行业 AI 硬件全景洞察报告：下一波 AI 创新机遇在物理空间》指出，AI 硬件将经历传统硬件+AI、AI 驱动型硬件到 AI 作为基础设施的三个阶段，深圳凭借产业集群优势成为全球 AI 硬件创新的热点地区。AI 推动软硬件协同创新，硬件产品的高价值区向软件偏移，软件端价值交付从订阅模式转向服务付费。报告还分析了 AI 硬件的分类、智能化简史、市场趋势、竞争格局、细分品类市场情况，以及典型团队的创新路径与策略。 机器之心的进化/理解 AI 驱动的软件 2.0 智能革命方面，在虚拟世界中做模拟，Meta 和 Nvidia 自然不能缺席。佐治亚理工学院的计算机科学家 Dhruv Batra 及 Meta AI 团队创造了名叫 AI 栖息地（AI Habitat）虚拟世界，目标是提高模拟速度。Nvidia 的 Omniverse 平台提供支持的 NVIDIA Isaac Sim 是一款可扩展的机器人模拟器与合成数据生成工具，能提供逼真的虚拟环境和物理引擎，用于开发、测试和管理智能代理。随着参与到这个领域的公司越来越多，数据和训练的需求也会越来越大，势必会有新的适合 EAI 的基础模型诞生。ARK Invest 在他们的 Big Ideas 2022 报告中提到，到 2030 年，硬件和软件的融合可以让人工智能训练的成本以每年 60%的速度下降，AI 硬件和软件公司的市值可以以大约 50%的年化速度扩大，从 2021 年的 2.5 万亿美元剧增到 2030 年的 87 万亿美元。 在 2024 年，人工智能几乎是所有软件公司和终端客户的首要任务。AI 软件公司将有效地有三种起源和结果：运行在现有软件之上的 AI 工具；运行在现有软件之上的 AI 工具，有机会取代现有的软件；成为劳动力的 AI 工具。我们正处于软件吞噬和增强劳动力的最初阶段。
2025-03-25
大模型的系统提示词
大模型的系统提示词主要包括以下方面： 1. 在“五津：一键生成‘摸鱼打工猫’视频”中，针对用户选择的主题和回答，总结用户的创作意图，如“打工猫摸鱼的 2 小时，在巴厘岛能看一场日落”，并根据此生成 4 组体现幽默风趣、以宫崎骏风格描绘主角为摸秋刀鱼橘猫的绘图提示词，以数组形式输出到“tishici”，将用户意图输出到“biaoti”。 2. 在“云中江树：智能对决：提示词攻防中的 AI 安全博弈”中，系统提示词的相关防御措施分为输入侧、模型侧和输出侧三个部分。输入侧可进行意图识别、语义匹配等综合判断用户输入是否恶意；模型侧对于有能力的厂商应增强安全性并平衡性能，开发者则要在开发中带着安全意识优化系统提示词，加入安全引导和禁止内容等；输出侧可使用传统防御和内容过滤手段，并针对大模型特点进行私有数据泄露等检查。此外，还提到间接注入和提示词泄露的情况，间接注入常发生在应用获取依赖外部数据资源时，攻击者通过隐藏恶意指令完成攻击；提示词泄露指试图操纵模型输出获取部分或全部系统提示词，大模型输出内容可分为系统提示词、用户提示和助手提示词三段，通过攻击手段可获取系统提示词。
2025-04-18
通义千问Qwen2.5-VL、阶跃星辰step-1.5v-mini、Gemini-2.0-Flash，这3个视觉理解大模型哪个最厉害？
以下是对通义千问 Qwen2.5VL 模型的介绍： 版本：有 3B、7B 和 72B 三个尺寸版本。 主要优势： 视觉理解能力：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。 视频理解能力：支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。 万物识别：擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位：采用矩形框和点的多样化方式对通用物体定位，支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解：提升 OCR 识别能力，增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析：设计了更全面的文档解析格式，称为 QwenVL HTML 格式，能够精准还原文档中的版面布局。 增强的视频理解：引入动态帧率（FPS）训练和绝对时间编码技术，支持小时级别的超长视频理解，具备秒级的事件定位能力。 开源平台： Huggingface：https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope：https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat：https://chat.qwenlm.ai 然而，对于阶跃星辰 step1.5vmini 和 Gemini2.0Flash 模型，目前提供的信息中未包含其与通义千问 Qwen2.5VL 模型的直接对比内容，因此无法确切判断哪个模型在视觉理解方面最厉害。但从通义千问 Qwen2.5VL 模型的上述特点来看，其在视觉理解方面具有较强的能力和优势。
2025-04-15
目前全世界最厉害的对视频视觉理解能力大模型是哪个
目前在视频视觉理解能力方面表现出色的大模型有： 1. 昆仑万维的 SkyReelsV1：它不仅支持文生视频、图生视频，还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。擅长万物识别，能分析图像中的文本、图表、图标、图形和布局等。
2025-04-15
目前全世界最厉害的视频视觉理解大模型是哪个
目前全世界较为厉害的视频视觉理解大模型有以下几个： 1. 昆仑万维的 SkyReelsV1：不仅支持文生视频、图生视频，是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元：语义理解能力出色，能精准还原复杂的场景和动作，如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5：全球最快的 AI 视频生成模型，Turbo 模式下可在 10 秒内生成视频，最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能，具备顶尖动漫生成能力。
2025-04-15
目前全世界最厉害的视觉理解大模型是哪个
目前在视觉理解大模型方面，较为突出的有 DeepSeek 的 JanusPro 模型，它将图像理解和生成统一在一个模型中；还有通义千问的视觉理解模型，其价格有较大降幅。此外，Pixverse V3.5 是全球最快的 AI 视频生成模型，在某些方面也展现出了出色的能力。但很难确切地指出全世界最厉害的视觉理解大模型，因为这取决于不同的评估标准和应用场景。
2025-04-15
大模型对话产品的优劣
大模型对话产品具有以下优点： 1. 具有强大的语言理解和生成能力。 2. 能够提供类似恋爱般令人上头的体验，具有一定的“想象力”和“取悦能力”。 3. 可以通过陪聊建立人和 AI 之间的感情连接，产品粘性不完全依赖技术优越性。 4. 能够为用户提供产品咨询服务，适用于有企业官网、钉钉、微信等渠道的客户。 5. 具有多种应用场景，如私有领域知识问答、个性化聊天机器人、智能助手等。 大模型对话产品也存在一些缺点： 1. 存在记忆混乱的问题。 2. AI 无法主动推动剧情，全靠用户脑补，导致用户上头期短，疲劳度高，长期留存低。 3. 无法回答私有领域问题（如公司制度、人员信息等）。 4. 无法及时获取最新信息（如实时天气、比赛结果等）。 5. 无法准确回答专业问题（如复杂数学计算、图像生成等）。
2025-04-14
如何本地部署大模型，如何选择是否使用云服务商
以下是关于本地部署大模型以及选择是否使用云服务商的相关内容： 本地部署大模型的主要步骤： 1. 选择合适的部署方式，包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础，可以使用开源的预训练模型如 BERT、GPT 等，也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调训练，优化模型结构和训练过程以提高性能。 5. 部署和调试模型，将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护，大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 以 SDXL 为例的本地部署步骤： 1. SDXL 的大模型分为两个部分，base+refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对生成的模型进行细化，生成细节更丰富的图片。还有一个配套的 VAE 模型，用于调节图片的画面效果和色彩。 2. 想要在 webUI 中使用 SDXL 的大模型，首先要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 将模型放入对应的文件夹中，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成之后，启动 webUI，就可以在模型中看到 SDXL 的模型。 以 LLM 大语言模型为例的本地部署步骤： 1. 下载并安装 Ollama，点击进入根据电脑系统下载 Ollama：https://ollama.com/download ，下载完成后，双击打开，点击“Install”，安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 。 2. 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）。如果是 windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。复制相关命令行，粘贴进入，点击回车，等待下载完成。 总的来说，部署大模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。
2025-04-14
本地部署
SDXL 的本地部署步骤如下： 1. 模型下载：SDXL 的大模型分为两个部分，第一部分 base + refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对文生图生成的模型进行细化以生成细节更丰富的图片。此外，还有一个配套的 VAE 模型用于调节图片的画面效果和色彩。这三个模型可通过关注公众号【白马与少年】，回复【SDXL】获取云盘下载链接。 2. 版本升级：要在 webUI 中使用 SDXL 的大模型，需在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 放置模型：将 base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。 4. 启动使用：完成上述步骤后启动 webUI，即可在模型中看到 SDXL 的模型。正常使用时，先在文生图中使用 base 模型，填写提示词和常规参数（如尺寸设置为 10241024）进行生成。然后将图片发送到图生图当中，大模型切换为“refiner”，重绘幅度开小一点再次点击生成。 5. 插件辅助：若觉得操作麻烦，可在扩展列表中搜索 refine 安装插件并重启，启用插件后可在文生图界面直接使用 refine 模型进行绘画。 另外，关于本地部署资讯问答机器人：Langchain + Ollama + RSSHub 实现 RAG，步骤包括导入依赖库（如 feedparse 用于解析 RSS 订阅源，ollama 用于在 python 程序中跑大模型，使用前需确保 ollama 服务已开启并下载好模型）、从订阅源获取内容（通过指定函数从 RSS 订阅 url 提取内容，并将长文本拆分成较小的块附带相关元数据）、为文档内容生成向量（使用文本向量模型 bgem3，从 hf 下载好模型后放置在指定路径，通过函数利用 FAISS 创建高效的向量存储），最终实现 RAG。
2025-04-13
我有秋叶整合包，然后需要怎么搭建本地部署？
以下是使用秋叶整合包搭建本地部署的步骤： 1. 下载整合包：可以从。 2. 复制启动器到下载仓库的目录下。 3. 打开启动器，可一键启动。如果有其他需求，可以在高级选项中调整配置。 显存优化根据显卡实际显存选择，不要超过当前显卡显存。xFormers 能极大地改善内存消耗和速度，建议开启。 4. 准备工作完毕后，点击一键启动即可。等待浏览器自动跳出，或是控制台弹出本地 URL 后说明启动成功。 如果报错提示缺少 Pytorch，则需要在启动器中点击配置。 5. Stable Diffusion webui 的更新比较频繁，请根据需求在“版本管理”目录下更新，同时注意插件的更新。 在 webui 的“扩展”选项卡下，可以安装插件。点击“加载自”后，目录会刷新，选择需要的插件点击右侧的 install 即可安装。安装完毕后，需要重新启动用户界面。 具体安装方法： 1. 打开整合包链接（https://pan.baidu.com/s/1hY8CKbYRAj9RrFGmswdNiA?pwd=caru ，提取码：caru），下载《1.整合包安装》，存放到电脑本地。 2. 打开保存到电脑里的文件夹。 3. 打开文件夹《1.秋叶整合包主包》，鼠标右击文件，点击“解压文件”。 4. 选择解压到 D 盘或者 E 盘（避免 C 盘被占满），点击确定。 5. 解压完成后，来到第二个文件夹，双击里面的文件，点击安装。 6. 打开刚刚解压保存的 SD 的根目录，找到启动器，鼠标右击启动器，点击“发送到”，选择桌面快捷方式，方便下次进入。 7. 双击启动器，等待更新，接着点击左边第二个“高级选项”，在显存优化里，根据自己电脑的显存选择。 8. 回到第一个一键启动，点击右下角的一键启动。出现代码页面不用管，等待 SD 的主界面在网页上自动弹出。如果出现报错，可以回到最开始的界面，在左边点击“疑难解答”，再点击右边的“开始扫描”，最后点击“修复”按钮。
2025-04-12
如何部署自己私人AI
部署自己私人 AI 可以参考以下几种方式： 通过云服务器、dify、智能微秘书来免费搭建微信机器人： 1. 在宝塔面板的终端安装相关命令，这些命令位于/root/dify/docker 目录下。 2. 检查运行的容器数量，若 nginx 容器无法运行，可能是 80 端口被占用，可将终端输出的代码粘贴给 AI 以解决。 3. 在浏览器地址栏输入公网 IP（去掉后面的:8888），进入后邮箱密码随便填，建立知识库并进行设置。 4. 选择模型，国内模型有免费额度可选，如智谱 ai，获取钥匙并复制保存，创建应用进行测试和发布。 基于 Hook 机制的微信 AI 机器人： 1. 将 Administrators 改成“wxid_dna83ykqawl222”。 2. 若有 FastGPT 或者 OpenAI 的 key，将 Ai_Lock 修改成“1”，并在 OpenAI 处添加模型 key；若没有，保持 Ai_Lock 为 0。 3. 修改后点击保存。 4. 返回 NGCbot 文件夹下，找到 main.py 文件双击运行。 5. 运行后会弹出微信登录框，正常登录微信，等待系统自动初始化必备文件。 6. 运行成功后，用“大号”给机器人发消息，拿到 wxid 并返回替换。 7. 添加完后，用小号登录，大号可对小号发号施令。 部署和训练自己的 AI 开源模型： 1. 选择合适的部署方式，如本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身资源、安全和性能需求选择。 2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础，如开源的 BERT、GPT 等，也可自行训练基础模型。 4. 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调，优化模型结构和训练过程以提高性能。 5. 部署和调试模型，将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护，重视大模型涉及的大量数据和隐私信息的安全性和合规性。 总的来说，部署和训练自己的大模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等，根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。
2025-04-11
DEEP SEEK 本地部署(Olama + ChatBox)+私有知识库(cherrystudio)
以下是关于 Deep Seek 本地部署（Olama + ChatBox）+私有知识库（cherrystudio）的相关内容： 一、使用 Docker + RAGFlow + Ollama 搭建个人/企业知识库 1. 将 Ollama 部署的模型接入 GARFlow 返回 RAGFlow 中，打开右上角设置，进入模型提供商，配置 Ollama 相关信息，基础 URL 按要求设置，设置完成后点击确定。 导入一个 embedding 模型用于文本向量化，导入成功后设置系统模型设置，然后返回知识库创建知识库。 进入数据集，导入文件（可设置文件夹当作知识库），导入完毕后解析文件，解析速度取决于本机 GPU 性能，解析好后进行检索测试，测试没问题即可进入聊天界面，助理设置可自行设置。 2. 使用 Ollama 本地部署 DeepSeek 模型 先下载 Ollama 程序，官方网址：https://ollama.com/ 。 下载默认到 C 盘（一般为固态盘，运行速度快），若想修改安装目录到 D 盘，后续会有说明。 下载完右下角会出现 Ollama 图标，打开命令行输入相关命令回车。 若显卡是英伟达 2060Super，可选择 Deepseekr1:14b 的模型，根据自身独立显卡性能下载。 下载速度慢可按 Ctrl+C 强制退出重新下载。 下载完毕后再下载一个嵌入模型，Ollama 的 bge 模型官方网址：https://ollama.com/library/bgem3 ，输入相关命令，下载好后直接退出终端。 二、Flowith 相关报道、采访、使用指南 |标题|发布账号|社媒来源|日期|链接| |||||| |ChatGPT 的对话框过时了？这款 AI 产品提供了一种很新的聊天方式|爱范儿|公众号|2024/04/29|| |Flowith：革新你的工作方式，体验节点式 AI 的超流畅生产力|程序那些事儿|公众号|2024/05/03|| |体验 Flowith：探索人机交互从传统聊天对话到画布式知识管理的转变|AI 兔子洞|公众号|2024/04/22|| |deepseek 服务器繁忙？硅基流不动？看看这篇，内含 18 个平台，可能是最全的 deepseek 方案。|佐佐的 AI 笔记|公众号|2025/02/06|| |满血版自部署 DeepSeekR1+知识库+联网搜索,体验下来可能就只剩下这家了!|字节笔记本|公众号|2025/02/12|| |DeepSeek 让 AI 圈卷出了新高度：Flowith 宣布 DeepSeek R1 现在免费提供!|字节笔记本|公众号|2025/01/27|| |ShowMeAI 周刊 No.15|上周最有讨论度的 6 个 AI 话题：自由画布类产品密集更新、多主体一致成发展趋势、AGI、开源…|ShowMeAI 研究中心|公众号|2025/01/21||
2025-04-10
本地部署大模型，如何微调建立本地知识库
以下是关于本地部署大模型并微调建立本地知识库的详细步骤： 一、使用 AnythingLLM 进行本地知识库搭建 1. 安装 AnythingLLM 安装地址：https://useanything.com/download 安装完成后进入配置页面，主要分为三步： 第一步：选择大模型 第二步：选择文本嵌入模型 第三步：选择向量数据库 2. 构建本地知识库 在 AnythingLLM 中创建自己独有的 Workspace 与其他项目数据隔离。 上传文档并在工作空间中进行文本嵌入。 选择对话模式，提供了 Chat 模式（大模型根据训练数据和上传文档数据综合给出答案）和 Query 模式（大模型仅依靠文档中的数据给出答案）。 二、张梦飞的全本地部署教程 1. 部署大语言模型 下载并安装 Ollama 点击进入，根据电脑系统，下载 Ollama：https://ollama.com/download 下载完成后，双击打开，点击“Install” 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 下载 qwen2:0.5b 模型 如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制相关命令行，粘贴进入，点击回车。 三、智能纪要中的相关内容 在智能纪要中，许键介绍了模型 API 调用方法与知识库创建，包括获取 API key 位置及调用设置，详细讲解了创建 Rag 应用（知识库）流程，如上传非结构化文件、数据解析、切分段落等操作，并回答了诸多问题。同时还涉及工作流创建、模型能力及相关问题的探讨，以及通义千问相关应用及明天课程安排交流等内容。 总之，本地部署大模型并建立本地知识库需要按照上述步骤进行操作和配置，同时不断实践和探索，以达到理想的效果。
2025-04-10
公共议题:AI如何助力HR业务? 研讨目标： 深入理解:深入探讨 AI在人力资源管理领域的应用、薪酬管理、员工关系、公司文化、包括人才获取与配置、学习与发展、组织与人才培、HR共享与HRIS等各模块的可应用场景 机会识别与场景落地:基于组织现状，识别出业务价值高、可落地的 A 应用场景; 研讨成果(输出物)： 请输出10个业务价值高、具备可行性的AI应用场景介绍，并说明what(场景是什么)、why(为什么值得做)、How(如何落地);
以下是为您生成的 10 个业务价值高、具备可行性的 AI 应用场景介绍： 1. 人才招聘与筛选 What：利用 AI 技术对求职者的简历进行自动筛选和分析，评估其与岗位的匹配度。 Why：节省 HR 大量的时间和精力，提高招聘效率和准确性。 How：通过自然语言处理和机器学习算法，训练模型识别关键信息和技能。 2. 员工培训与发展 What：根据员工的技能水平和职业发展目标，定制个性化的培训计划。 Why：提升员工的能力和绩效，增强员工对企业的忠诚度。 How：利用大数据分析员工的工作表现和学习需求，推荐相关课程和学习资源。 3. 薪酬福利管理 What：运用 AI 预测市场薪酬趋势，为企业制定合理的薪酬策略。 Why：保持企业薪酬的竞争力，吸引和留住优秀人才。 How：收集和分析行业薪酬数据，结合企业的财务状况和战略目标进行优化。 4. 员工绩效评估 What：借助 AI 实时监测员工的工作表现，提供客观的绩效评估。 Why：减少人为偏差，确保评估的公正性和准确性。 How：利用工作流程数据和行为分析模型进行评估。 5. 员工关系管理 What：通过 AI 分析员工的情绪和满意度，及时发现问题并解决。 Why：营造良好的工作氛围，提高员工的工作积极性和创造力。 How：使用情感分析技术处理员工的反馈和交流信息。 6. 组织架构优化 What：利用 AI 分析企业的业务流程和人员配置，提供组织架构调整建议。 Why：提高企业的运营效率和灵活性，适应市场变化。 How：基于数据分析和模拟优化算法进行评估和推荐。 7. 人力资源规划 What：根据企业的战略目标和业务发展预测人力资源需求。 Why：提前做好人才储备和招聘计划，保障企业的正常运营。 How：运用数据分析和预测模型进行规划。 8. 企业文化传播 What：使用 AI 生成个性化的企业文化宣传内容，提高传播效果。 Why：增强员工对企业文化的认同感和归属感。 How：利用自然语言生成技术和个性化推荐算法。 9. 智能客服 What：在 HR 服务中引入 AI 客服，解答员工常见问题。 Why：快速响应员工需求，提高服务质量。 How：训练智能客服模型，涵盖常见的 HR 问题和解决方案。 10. 人才库管理 What：利用 AI 对人才库进行分类和更新，提高人才库的利用效率。 Why：方便快速找到合适的人才，降低招聘成本。 How：运用数据挖掘和分类算法进行管理。
2025-04-14
公共议题:AI如何助力HR业务? 研讨目标： 深入理解:深入探讨 AI在人力资源管理领域的应用、薪酬管理、员工关系、公司文化、包括人才获取与配置、学习与发展、组织与人才培、HR共享与HRIS等各模块的可应用场景 机会识别与场景落地:基于组织现状，识别出业务价值高、可落地的 A 应用场景; 研讨成果(输出物)： 请输出3-5个业务价值高、具备可行性的AI应用场景介绍，并说明what(场景是什么)、why(为什么值得做)、How(如何落地);
以下是为您提供的 3 个业务价值高、具备可行性的 AI 应用场景介绍： 场景一：AI 在企业招聘中的应用 What：利用 AI 技术进行简历筛选、人才匹配和面试评估。 Why：能够快速处理大量简历，提高招聘效率和准确性，节省人力和时间成本，同时更精准地找到符合岗位需求的人才。 How：通过引入相关的 AI 招聘软件，与企业现有的招聘系统集成，对简历进行关键词提取和分析，利用机器学习算法进行人才匹配，并通过视频面试中的语音和表情分析辅助评估候选人。 场景二：AI 助力个性化人力资源管理 What：根据员工的个人特点和工作表现，提供个性化的培训计划、职业发展建议和绩效评估。 Why：能够充分发挥员工的潜力，提高员工满意度和忠诚度，促进企业的长期发展。 How：收集员工的工作数据、学习记录和绩效表现等信息，运用 AI 算法进行分析和预测，为员工制定专属的发展方案，并通过移动应用或内部系统向员工推送相关建议和培训课程。 场景三：AI 打造无人值守的 HR 平台 What：实现 HR 业务的自动化处理，如员工请假审批、薪酬计算和福利发放等。 Why：减少人工操作的错误和繁琐流程，提高 HR 工作的效率和准确性，使 HR 人员能够专注于更有价值的战略工作。 How：整合企业内部的各种 HR 系统和数据，利用 RPA 和 AI 技术实现流程的自动化，同时建立监控和预警机制，确保平台的稳定运行。
2025-04-14
AI服务器配置
以下是关于 AI 服务器配置的相关内容： 对于 Coze AI 机器人对接微信的服务器配置： 1. 如果按照上一篇教程操作，此次配置只需修改容器编排模板。最新的容器编排模板如下，同时提供无描述性的参考配置方便新手直接参考使用。 2. 若之前没有容器编排模板，新建一个即可，新建和修改逻辑类似。 3. 更新后的编排模板，若之前创建过相似机器人容器编排服务，建议先删除以防冲突，删除步骤如下。 4. 基于新的编排模板创建新的容器编排，然后启动服务。 5. 服务启动成功后，进入 COW 服务扫码绑定微信机器人，具体步骤参考上一篇入门教程。 对于视频相关的 AI 服务器配置： 1. 购买服务器：直接点击去购买：https://buy.cloud.tencent.com/lighthouse?blueprintType=APP_OS&blueprintOfficialId=lhbpr8j2ftq0&regionId=8&zone=apbeijing3&bundleId=bundle_rs_mc_med1_02&loginSet=AUTO&from=lhconsole ，并根据以下配置购买。 2. 购买并付款完成后，回到服务器“控制台”。 3. 点击服务器卡片空白处添加防火墙，添加 8887、8080 端口。 4. 点击右上角“登录”按钮，扫码验证后在命令行窗口中操作，注意复制粘贴代码的方式和命令执行完毕的标志。 5. 在命令行中依次输入相关命令。 6. 保存并打开外网面板地址，输入账号和密码。
2025-04-10
微信机器人如何配置
微信机器人的配置步骤如下： 1. sum4all 配置 进入插件目录：/root/chatgptonwechat/plugins 找到 sum4all 插件目录下的 config.json.template，复制并粘贴重命名为：config.json 注册并获取 sum4all key：https://pro.sum4all.site/register?aff=T6rP ，新用户注册有送免费额度，大家先使用这个进行试用，后续可改为自己的 openAI key。 把复制的 key，粘贴到 sum4all 的 config.json 文件内。（上方有功能阐述，你想要哪个，就把哪个改成 ture） 2. Apilot 配置 进入插件目录：/root/chatgptonwechat/plugins 找到 Apilot 文件下的 config.json.template，复制并粘贴重命名为：config.json 去 https://admin.alapi.cn/account/center 注册，并复制 key 把复制来的 key，粘贴进入。保存。 3. 分段对话配置替换 找到这个路径：/root/chatgptonwechat/channel/wechat，直接下载以下文件进行替换。 此外，微信的配置相对较简单，只需要主项目的 config.json 文件看看是否有"channel_type"参数，参数值为："wx"，即："channel_type":"wx"。完成以上所有配置部分后，可以准备启动步骤了： 使用 nohup 命令在后台运行程序。 执行完启动脚本，等待 30s 左右，会看到终端有一个微信登录的二维码，微信扫码登录。 如果您想使用更多辅助功能，比如使用总结文件能力，总结网页内容能力，此时需要安装各种插件。这部分配置查看插件配置管理部分。
2025-04-10
有没有专门学习配置微信机器人和企业微信机器人的相关教学视频
以下是一些专门学习配置微信机器人和企业微信机器人的相关教学视频： 【共学最全版本】微信机器人共学教程： 日程安排： 6 月 19 日 20:00 开始：从零到一，搭建微信机器人，参与者要求为 0 基础小白，分享人为张梦飞，主持人为小元，助教为金永勋、奥伏。 6 月 20 日 20:00 开始：Coze 接入、构建你的智能微信助手，分享人为张梦飞，主持人为吕昭波，助教为安仔、阿飞。 6 月 23 日 20:00 开始：微信机器人插件拓展教学，要求完成第一课，分享人为张梦飞，主持人为安仔，助教为空心菜、AYBIAO、阿飞。 6 月 24 日 20:00 开始：虚拟女友“李洛云”开发者自述，要求完成第一课，分享人为皮皮，主持人为大雨。 6 月 25 日 20:00 开始：FastGPT：“本地版 coze"部署教学，要求完成第一课，分享人为张梦飞，主持人为银海，助教为金永勋、AYBIAO。 6 月 27 日 20:00 开始：Hook 机制的机器人使用和部署教学，要求 0 基础小白，有一台 Windows 10 以上系统的电脑，分享人为张梦飞，主持人为 Stuart，助教为阿飞、空心菜。 第二天教程内容： 修改配置：主要更改标黄的四行，可以直接清空原文件配置，把以下配置粘贴进你的 config.json 文件中。 获取 key 和 id：进入官网 https://www.coze.cn/home ，获取到的令牌就是"coze_api_key"，像下方一样填入即可。"coze_api_key":"pat_diajdkasjdlksajdlksajdasdjlkasjdlas"，获取 bot_id 并填入："coze_bot_id":"86787989080"。 微信机器人大事件记录： 皇子：零成本、零代码搭建一个智能微信客服，保姆级教程 安仔：不用黑魔法，小白也能做一个对接 GPT 大模型的微信聊天机器人 张梦飞：【保姆级】一步一图，手把手教你把 AI 接入微信 张梦飞：FastGPT+OneAPI+COW 带有知识库的机器人完整教程 张梦飞：基于 Hook 机制的微信 AI 机器人，无需服务器，运行更稳定，风险更小 张梦飞：【保姆级教程】这可能是你在地球上能白嫖到的，能力最强的超级微信机器人！一步一图，小白友好 在自己的电脑上部署 COW 微信机器人项目
2025-04-04
我是一位程序开发小白，不会用代码开发程序。我现在有一台安装Window 11操作系统的笔记本电脑，配置为14代i7CPU、32G内存、1TB硬盘、1张RTX4070显卡。我想部署一套本地的大模型＋智能体＋知识库。我要怎么样才能实现无代码部署，请列出详细的安装步骤。
以下是为您提供的无代码部署本地大模型、智能体和知识库的详细安装步骤： 1. 硬件评估：您的笔记本电脑配置为 14 代 i7 CPU、32G 内存、1TB 硬盘、1 张 RTX4070 显卡，基本满足部署要求。但需要注意，运行内存最低 32GB，越高越好，最低配可能会经常爆显存。建议将软件和模型部署在 SSD（固态硬盘）上，以提高加载模型的速度。 2. 选择合适的部署工具：ComfyUI 是一个相对配置要求较低、系统资源占用少、出图速度快的工具。它最低可在小于 3G 的 GPU 上运行，甚至没有 GPU 光用 CPU 也可以，但速度极慢。SDXL 出来后提高了运行配置，最低需要 8GB 显存+32GB 运行内存，12GB 流畅运行，推荐 16GB 以上。 3. 安装准备：如果您的电脑能顺畅清晰地玩 3A 游戏，那么运行相关部署工具一般也没问题。 4. 预算和需求：根据您的需求和预算来选择合适的配置。例如，如果有做 AIGC 视频、建模渲染和炼丹（lora）的需求，可能需要更高的配置。 请注意，以上步骤仅为参考，实际部署过程可能会因具体情况而有所不同。
2025-03-26