Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

linux 下部署deepseek

Answer

在 Linux 下部署 DeepSeek 的步骤如下：

  1. 下载代码仓库。
  2. 安装依赖（注意有两个依赖未放在 requirements.txt 里）。
  3. 启动 webui 的 demo 程序，然后用浏览器登陆服务器的 ip:8080 就能试玩。此 demo 提供了 3 个参数：
    • --server_name：服务器的 ip 地址，默认 0.0.0.0。
    • --servic_port：即将开启的端口号。
    • --local_path：模型存储的本地路径。
  4. 第一次启动后生成语音时，需查看控制台输出，它会下载一些模型文件，因此比较慢，且可能因网络问题失败。但第一次加载成功后，后续会顺利。
  5. 基于此基础可进行拓展，比如集成到 agent 的工具中，或结合 chatgpt 做更拟人化的实时沟通。

webui 上可设置的几个参数说明：

  • text：指需要转换成语音的文字内容。
  • Refine text：选择是否自动对输入的文本进行优化处理。
  • Audio Seed：语音种子，是一个数字参数，用于选择声音类型，默认值为 2，是很知性的女孩子的声音。
  • Text Seed：文本种子，是一个正整数参数，用于 refine 文本的停顿。实测文本的停顿设置会影响音色、音调。
  • 额外提示词（可写在 input Text 里）：用于添加笑声、停顿等效果。例如，可以设置为 [oral_2][laugh_0][break_6]。

使用 DeepSeek 的步骤：

  1. 搜索 www.deepseek.com，点击“开始对话”。
  2. 将装有提示词的代码发给 Deepseek。
  3. 认真阅读开场白之后，正式开始对话。

DeepSeek 的设计思路：

  1. 将 Agent 封装成 Prompt，将 Prompt 储存在文件，保证最低成本的人人可用的同时，减轻调试负担。
  2. 通过提示词文件，让 DeepSeek 实现同时使用联网功能和深度思考功能。
  3. 在模型默认能力的基础上优化输出质量，并通过思考减轻 AI 味，增加可读性。
  4. 照猫画虎参考大模型的 temperature 设计了阈值系统，但是可能形式大于实质，之后根据反馈可能会修改。
  5. 用 XML 来进行更为规范的设定，而不是用 Lisp（有难度）和 Markdown（运行不太稳定）。

关于 DeepSeek 的评论： 游戏科学创始人、黑神话悟空制作人冯骥称：年前还是认真推下 DeepSeek 吧。V3 已经用了一个月，但 R1 仅仅用了 5 天。DeepSeek 可能是个国运级别的科技成果。它具备强大的推理能力，比肩 O1；参数少，训练开销与使用费用小；开源，任何人均可自行下载与部署；免费，官方目前提供的服务完全免费；支持联网搜索，是暂时唯一支持联网搜索的推理模型；由没有海外经历甚至没有资深从业经验的本土团队开发完成。如果这都不值得欢呼，还有什么值得欢呼？看到这条微博的您应直接访问网页链接马上用起来，也有移动 APP。

Content generated by AI large model, please carefully verify (powered by aily)

References

Stuart：一夜爆火的 ChatTTS 实测

在linux上部署很简单，比GPT-SoVITS更容易，不需要自己下载模型放模型。当然本地部署的前提，依旧是你有一张GPU显卡，4G以上显存。简单步骤如下：1.下载代码仓库2.安装依赖（⚠️这里有两个依赖它没有放在requirements.txt里）3.启动webui的demo程序，然后用浏览器登陆这个服务器的ip:8080就能试玩了这个demo本身提供了3个参数：--server_name:服务器的ip地址，默认0.0.0.0--servic_port:即将开启的端口号--local_path:模型存储的本地路径4.第一次启动后生成语音时，需要看下控制台输出，它会下载一些模型文件，因此比较慢，而且可能因为网络的问题有各种失败。但是第一次加载成功了，后面就顺利了。5.基于这个基础已经可以开始拓展了，比如把它集成到agent的工具中去，比如结合chatgpt来做更拟人化的实时沟通。6.webui上可以设置的几个参数说明：（参考下图）text:指的是需要转换成语音的文字内容。Refine text:选择是否自动对输入的文本进行优化处理。Audio Seed:语音种子，这是一个数字参数，用于选择声音的类型，默认值为2，是一个很知性的女孩子的声音。Text Seed:文本种子，这是一个正整数参数，用于refine文本的停顿。实测文本的停顿设置会影响音色，音调。额外提示词（可以写在input Text里）:用于添加笑声、停顿等效果。例如，可以设置为[oral_2][laugh_0][break_6]。

一个提示词，让 DeepSeek 的能力更上一层楼？——HiDeepSeek

用Coze做了个小测试，大家可以对比看看[e8c1a8c3012fedad10dc0dfcc8b1e263_raw.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/Jz9cbKxDbocGtIxXFFEcdiHjnRc?allow_redirect=1)[heading1]如何使用？[content]Step1：搜索www.deepseek.com，点击“开始对话”Step2：将装有提示词的代码发给DeepseekStep3：认真阅读开场白之后，正式开始对话[heading1]设计思路[content]1.将Agent封装成Prompt，将Prompt储存在文件，保证最低成本的人人可用的同时，减轻自己的调试负担2.通过提示词文件，让DeepSeek实现：同时使用联网功能和深度思考功能3.在模型默认能力的基础上优化输出质量，并通过思考减轻AI味，增加可读性4.照猫画虎参考大模型的temperature设计了阈值系统，但是可能形式大于实质，之后根据反馈可能会修改5.用XML来进行更为规范的设定，而不是用Lisp（对我来说有难度）和Markdown（运行下来似乎不是很稳定）[heading1]完整提示词[heading2]v 1.3[heading1]特别鸣谢[content]李继刚：【思考的七把武器】在前期为我提供了很多思考方向Thinking Claude：这个项目是我现在最喜欢使用的Claude提示词，也是我设计HiDeepSeek的灵感来源Claude 3.5 Sonnet：最得力的助手

详解：DeepSeek深度推理+联网搜索 目前断档第一

[heading3]游戏科学创始人、黑神话悟空制作人冯骥：年前还是认真推下DeepSeek吧。V3已经用了一个月，但R1仅仅用了5天，不得不来发这条微博。先讲一句暴论：DeepSeek，可能是个国运级别的科技成果。为了讲清楚这个成果有多惊人，我打个比方：如果有一个AI大模型做到了以下的任何一条，都是超级了不起的突破——1、强大。比肩O1的推理能力，暂时没有之一2、便宜。参数少，训练开销与使用费用小了一个数量级3、开源。任何人均可自行下载与部署，提供论文详细说明训练步骤与窍门，甚至提供了可以运行在手机上的mini模型。4、免费。官方目前提供的服务完全免费，任何人随时随地可用5、联网。暂时唯一支持联网搜索的推理模型（o1还不支持）6、本土。深度求索是一家很小规模的年轻中国公司，由没有海外经历甚至没有资深从业经验的本土团队开发完成上面的六条，DeepSeek全部、同时做到了。实在太6了，6到不真实。如果这都不值得欢呼，还有什么值得欢呼？那么，现在看到这条微博的你应该去做什么呢？1、请直接访问：网页链接马上用起来，也有移动APP

Others are asking
deepseek官方教程
以下是关于 DeepSeek 的官方教程相关信息： 火山方舟 DeepSeek 申请免费额度教程，包含多种 API 使用方式，如飞书多维表格调用、Coze 智能体调用、浏览器插件调用。可以使用邀请码 D3H5G9QA，通过邀请链接 https://www.volcengine.com/activity/deepseek?utm_term=202502dsinvite&ac=DSASUQY5&rc=D3H5G9QA 邀请可拿 3000 万 tokens，畅享 671B DeepSeek R1，活动截止至北京时间 20250218 23:59:59。同时，火山方舟大模型服务平台的模型服务计费文档有更新，DeepSeekR1、V3 模型分别提供了 50 万免费额度和 API 半价活动。 有关于一线教师的 AI 需求与高效工具推荐，如让模型创作诗歌、生成宣传标语、提示库（https://apidocs.deepseek.com/zhcn/promptlibrary）、代码解释、内容分类、角色扮演（自定义人设）、散文写作、文案大纲生成、模型提示词生成等。 2 月 14 日的社区动态中，有《突破 DeepSeek R1 能力天花板，火山引擎扣子+飞书一站式企业解决方案》《羊毛快薅|字节火山上线了 DeepSeek 系列模型并悄悄更改了模型服务价格...》等内容，还附上了飞书多维表格、Coze 的接入使用方法等。此外，还有关于 DeepSeek 关键 9 篇论文及创新点的讲解，以及 DeepSeek 官方发布的 R1 模型推荐设置。
2025-04-15
我想让DEEPSEEK帮我写一篇论文，题目已经定好了，怎么给他输入指令
以下是给 DeepSeek 输入指令以帮助您写论文的一些建议： 1. 采用结构化提示词： 优先保留专业领域术语和技术词汇，这些术语通常具有高信息价值。 对不同类型的信息设置权重，按优先级排序：任务定义>关键约束>专业术语>定量信息>方法论>背景。 以完整语义单元为基本保留单位，而非单个词语，确保压缩后的内容仍保持语义完整性。 避免详细指导思考过程，让模型自主生成思维链。 2. 高阶能力调用： 文风转换矩阵：例如“用鲁迅杂文风格写职场 PUA 现象”“将产品说明书改写成《史记》列传格式”“把这篇论文摘要翻译成菜市场大妈能听懂的话”。 领域穿透技术：如行业黑话破解“解释 Web3 领域的'胖协议瘦应用'理论”。 3. 场景化实战策略： 创意内容生成。 技术方案论证。 4. 效能增强技巧： 对话记忆管理：包括上下文锚定（如“记住当前讨论的芯片型号是麒麟 9010”）、信息回溯（如“请复述之前确认的三个设计原则”）、焦点重置（如“回到最初讨论的供应链问题”）。 输出质量控制：针对过度抽象、信息过载、风格偏移等问题，使用相应的修正指令。 5. 特殊场景解决方案： 长文本创作：可采用分段接力法，如“先完成故事大纲→逐章扩展→最后进行伏笔校验”“确保新章节与前文的三处细节呼应”。 敏感内容处理：使用概念脱敏法（如“用经济学原理类比说明网络审查机制”）或场景移植法（如“假设在火星殖民地讨论该议题”）。 在输入指令时，您需要清晰明确地描述论文的题目、研究目的、主要论点、关键论据、期望的结构和风格等重要信息，以便 DeepSeek 能够为您生成符合要求的内容。
2025-04-14
coze搭建工作流调用deepseek如何把模型的输出存入到多维表中
以下是将模型的输出存入到多维表中的步骤： 1. 逐步搭建 AI 智能体： 搭建整理入库工作流。 设置大模型节点提取稍后读元数据，使用 MiniMax 6.5s 245k，设置最大回复长度至 50000，以确保能完整解析长内容网页。 进行日期转时间戳，后续的飞书多维表格插件节点在入库日期字段时只支持 13 位时间戳，需要使用「日期转时间戳time_stamp_13」插件进行格式转化。 把稍后读元数据转换为飞书多维表格插件可用的格式，飞书多维表格插件目前（2024 年 08 月）只支持带有转义符的 string，以 Array<Object>格式输入，所以必须将之前得到的元数据数组进行格式转换。 添加「飞书多维表格add_records」插件，只需要设置{{app_token}}与{{records}}参数，将元数据写入飞书表格。 2. 搭建 Coze 工作流： 打开 Coze 的主页，登录后，在【工作空间】创建一个智能体。 在编排页面，给智能体编辑好人设，可先写一个简单的，然后点右上角自动优化，系统会自动补全更精细的描述。点击工作流的+，创建一个工作流。 大模型节点把 input 给到 DeepSeek，让 DeepSeek 按照提前规定的输出框架生成对应文案。 生图节点将输出给到图像生成组件画图。 结束输出时，两个输出给到最终的 end 作为最终的输出。注意在编写系统提示词时，如果需要 input 可被 DeepSeek 调用，需要用{{input}}作为参数引入，不然大模型不知道自己需要生成和这个 input 相关的结果。编排完，点击【试运行】，调试至满意后点击发布。
2025-04-14
Deepseek自动生成网站前端页面
以下是关于 DeepSeek 自动生成网站前端页面的相关内容： DeepSeek v3 能力更新后虽能生成炫目的前端页面，但多为静态且实用性有限。可结合飞书多维表格将生成的漂亮前端变为真实的系统，如【智能作业分发系统】。 该系统整体包括用户登陆（可加飞书调查表二维码实现注册）、作业类型、作业详情（含连连看游戏、AI 智能问答、考试系统）。其实现逻辑为用户登陆系统后进入页面看到老师分配的作业分类，选择分类进入作业详情页面，详情页有学习单词发音及三个模块。 对于小白，可用飞书作数据源，通过飞书 API 接口获取内容，用 DeepSeek v3 制作前端+后端（用 Trae 更方便）。获取请求参数时，测试成功后的示例代码中有完整的请求参数和请求体可直接复制使用。创建前后端时，若用 DeepSeek 官网搭建需按代码目录结构创建对应文件（用 Trae 可省略），首次运行可能遇到飞书 API 未正确配置 CORS 导致浏览器拦截请求的问题，V3 会给出修改意见。 此外，Same dev 能像素级复制任意 UI 界面并生成前端代码，支持多种文件格式和技术栈代码，但免费额度消耗快，网站被谷歌标记。360 智脑复现了 DeepSeek 强化学习效果并发布开源模型 LightR114BDS。 AI 时代生存法则：会提需求比会写代码更重要，会开脑洞比会复制粘贴更值钱，真正的大佬都是让 AI 当乙方！
2025-04-13
deepseek写论文
以下是关于 DeepSeek 在不同方面应用的相关信息： 应用场景：包括脑爆活动方案、会议纪要、批量处理客户评论、分析总结复盘内容、生成专业软件使用过程、写小说框架、写论文、写文案、写小红书笔记、写周报、做设计头脑风暴、做网站、分析感情问题等。 优势与不足：在写文方面全面领先，但长文可能太发散、文风用力过猛导致审美疲劳，且模型多样性不够，相同 prompt 提问多次答案雷同。 应对策略：写理性文章时，可先与 DeepSeek 讨论思路，再用 Cloud 3.5 批量生成；用 O1 模型对创作的字数控制有一定效果，也可通过多轮对话让 AI 增删改查来调整字数。 创作相关：模仿特定小说家的文学方式创作小说，需在提示词中描述文风特征；邀请大家在腾讯频道发布用 AI 写的小说并鉴赏。 发展历程：DeepSeek 历时 647 天在大语言模型（LLM）领域取得突破，发布 13 篇论文。谷歌 CEO 坦言 Deep Seek 的突破标志着 AI 的全球化进程。
2025-04-13
使用Deepseek写论文有哪些固定指令模板
以下是使用 DeepSeek 写论文的一些指令模板： 1. 进阶控制技巧： 思维链引导： 分步标记法：请逐步思考：1.问题分析→2.方案设计→3.风险评估 苏格拉底式追问：在得出最终结论前，请先列举三个可能存在的认知偏差 知识库调用： 领域限定指令：基于 2023 版中国药典，说明头孢类药物的配伍禁忌 文献引用模式：以 Nature 2022 年发表的论文为参考，解释 CRISPRCas9 最新突破 多模态输出 2. 高级调试策略： 模糊指令优化： 问题类型：宽泛需求 修正方案：添加维度约束 示例对比：原句：“写小说”→修正：“创作以 AI 觉醒为背景的悬疑短篇，采用多视角叙事结构” 问题类型：主观表述 修正方案：量化标准 示例对比：原句：“写得专业些”→修正：“符合 IEEE 论文格式，包含 5 项以上行业数据引用” 迭代优化法： 首轮生成：获取基础内容 特征强化：请加强第三段的技术细节描述 风格调整：改用学术会议报告语气，添加结论部分 最终校验：检查时间逻辑一致性，列出可能的事实性错误 3. 核心原理认知： AI 特性定位： 多模态理解：支持文本/代码/数学公式混合输入 动态上下文：对话式连续记忆（约 8K tokens 上下文窗口，换算成汉字是 4000 字左右） 任务适应性：可切换创意生成/逻辑推理/数据分析模式 系统响应机制： 采用意图识别+内容生成双通道 自动检测 prompt 中的：任务类型/输出格式/知识范围 反馈敏感度：对位置权重（开头/结尾）、符号强调敏感 4. 基础指令框架： 四要素模板 格式控制语法： 强制结构：使用```包裹格式要求 占位符标记：用{{}}标注需填充内容 优先级符号：>表示关键要求，!表示禁止项 5. 高阶能力调用： 文风转换矩阵： 作家风格移植：“用鲁迅杂文风格写职场 PUA 现象” 文体杂交：“将产品说明书改写成《史记》列传格式” 学术口语化：“把这篇论文摘要翻译成菜市场大妈能听懂的话” 领域穿透技术：行业黑话破解→“解释 Web3 领域的‘胖协议瘦应用’理论” 商业决策支持 6. 场景化实战策略： 创意内容生成 技术方案论证 7. 效能增强技巧： 对话记忆管理： 上下文锚定：“记住当前讨论的芯片型号是麒麟 9010” 信息回溯：“请复述之前确认的三个设计原则” 焦点重置：“回到最初讨论的供应链问题” 输出质量控制： 问题类型：过度抽象 修正指令：“请具体说明第三步操作中的温度控制参数” 问题类型：信息过载 修正指令：“用电梯演讲格式重新组织结论” 问题类型：风格偏移 修正指令：“回归商务报告语气，删除比喻修辞” 8. 特殊场景解决方案： 长文本创作： 分段接力法：“先完成故事大纲→逐章扩展→最后进行伏笔校验”“确保新章节与前文的三处细节呼应” 敏感内容处理： 概念脱敏法：“用经济学原理类比说明网络审查机制” 场景移植法：“假设在火星殖民地讨论该议题”
2025-04-13
linux下安装 anythingLLM
以下是在 Linux 下安装 AnythingLLM 的相关指导： 1. 安装地址：https://useanything.com/download 。 2. 安装完成后会进入配置页面，主要分为三步： 第一步：选择大模型。 第二步：选择文本嵌入模型。 第三步：选择向量数据库。 3. AnythingLLM 中有 Workspace 的概念，可以创建自己独有的 Workspace 与其他项目数据进行隔离。 首先创建一个工作空间。 上传文档并且在工作空间中进行文本嵌入。 选择对话模式，提供了 Chat 模式（大模型会根据自己的训练数据和上传的文档数据综合给出答案）和 Query 模式（大模型仅仅会依靠文档中的数据给出答案）。 4. 完成上述配置后，即可与大模型进行对话。 此外，在 GitHubDaily 开源项目列表 2023 年复盘的 AIGC 部分中，也有关于 AnythingLLM 的介绍： 是一个可打造成企业内部知识库的私人专属 GPT！可以将任何文档、资源或内容转换为大语言模型（LLM）知识库，使得在对话过程中可引用到里面的内容。 本文的思路来源于视频号博主黄益贺，作者按照他的视频进行了实操，并附加了一些关于 RAG 的额外知识。
2025-03-27
如何本地部署大模型，如何选择是否使用云服务商
以下是关于本地部署大模型以及选择是否使用云服务商的相关内容： 本地部署大模型的主要步骤： 1. 选择合适的部署方式，包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础，可以使用开源的预训练模型如 BERT、GPT 等，也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调训练，优化模型结构和训练过程以提高性能。 5. 部署和调试模型，将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护，大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 以 SDXL 为例的本地部署步骤： 1. SDXL 的大模型分为两个部分，base+refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对生成的模型进行细化，生成细节更丰富的图片。还有一个配套的 VAE 模型，用于调节图片的画面效果和色彩。 2. 想要在 webUI 中使用 SDXL 的大模型，首先要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 将模型放入对应的文件夹中，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成之后，启动 webUI，就可以在模型中看到 SDXL 的模型。 以 LLM 大语言模型为例的本地部署步骤： 1. 下载并安装 Ollama，点击进入根据电脑系统下载 Ollama：https://ollama.com/download ，下载完成后，双击打开，点击“Install”，安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 。 2. 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）。如果是 windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。复制相关命令行，粘贴进入，点击回车，等待下载完成。 总的来说，部署大模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。
2025-04-14
本地部署
SDXL 的本地部署步骤如下： 1. 模型下载：SDXL 的大模型分为两个部分，第一部分 base + refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对文生图生成的模型进行细化以生成细节更丰富的图片。此外，还有一个配套的 VAE 模型用于调节图片的画面效果和色彩。这三个模型可通过关注公众号【白马与少年】，回复【SDXL】获取云盘下载链接。 2. 版本升级：要在 webUI 中使用 SDXL 的大模型，需在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 放置模型：将 base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。 4. 启动使用：完成上述步骤后启动 webUI，即可在模型中看到 SDXL 的模型。正常使用时，先在文生图中使用 base 模型，填写提示词和常规参数（如尺寸设置为 10241024）进行生成。然后将图片发送到图生图当中，大模型切换为“refiner”，重绘幅度开小一点再次点击生成。 5. 插件辅助：若觉得操作麻烦，可在扩展列表中搜索 refine 安装插件并重启，启用插件后可在文生图界面直接使用 refine 模型进行绘画。 另外，关于本地部署资讯问答机器人：Langchain + Ollama + RSSHub 实现 RAG，步骤包括导入依赖库（如 feedparse 用于解析 RSS 订阅源，ollama 用于在 python 程序中跑大模型，使用前需确保 ollama 服务已开启并下载好模型）、从订阅源获取内容（通过指定函数从 RSS 订阅 url 提取内容，并将长文本拆分成较小的块附带相关元数据）、为文档内容生成向量（使用文本向量模型 bgem3，从 hf 下载好模型后放置在指定路径，通过函数利用 FAISS 创建高效的向量存储），最终实现 RAG。
2025-04-13
我有秋叶整合包，然后需要怎么搭建本地部署？
以下是使用秋叶整合包搭建本地部署的步骤： 1. 下载整合包：可以从。 2. 复制启动器到下载仓库的目录下。 3. 打开启动器，可一键启动。如果有其他需求，可以在高级选项中调整配置。 显存优化根据显卡实际显存选择，不要超过当前显卡显存。xFormers 能极大地改善内存消耗和速度，建议开启。 4. 准备工作完毕后，点击一键启动即可。等待浏览器自动跳出，或是控制台弹出本地 URL 后说明启动成功。 如果报错提示缺少 Pytorch，则需要在启动器中点击配置。 5. Stable Diffusion webui 的更新比较频繁，请根据需求在“版本管理”目录下更新，同时注意插件的更新。 在 webui 的“扩展”选项卡下，可以安装插件。点击“加载自”后，目录会刷新，选择需要的插件点击右侧的 install 即可安装。安装完毕后，需要重新启动用户界面。 具体安装方法： 1. 打开整合包链接（https://pan.baidu.com/s/1hY8CKbYRAj9RrFGmswdNiA?pwd=caru ，提取码：caru），下载《1.整合包安装》，存放到电脑本地。 2. 打开保存到电脑里的文件夹。 3. 打开文件夹《1.秋叶整合包主包》，鼠标右击文件，点击“解压文件”。 4. 选择解压到 D 盘或者 E 盘（避免 C 盘被占满），点击确定。 5. 解压完成后，来到第二个文件夹，双击里面的文件，点击安装。 6. 打开刚刚解压保存的 SD 的根目录，找到启动器，鼠标右击启动器，点击“发送到”，选择桌面快捷方式，方便下次进入。 7. 双击启动器，等待更新，接着点击左边第二个“高级选项”，在显存优化里，根据自己电脑的显存选择。 8. 回到第一个一键启动，点击右下角的一键启动。出现代码页面不用管，等待 SD 的主界面在网页上自动弹出。如果出现报错，可以回到最开始的界面，在左边点击“疑难解答”，再点击右边的“开始扫描”，最后点击“修复”按钮。
2025-04-12
如何部署自己私人AI
部署自己私人 AI 可以参考以下几种方式： 通过云服务器、dify、智能微秘书来免费搭建微信机器人： 1. 在宝塔面板的终端安装相关命令，这些命令位于/root/dify/docker 目录下。 2. 检查运行的容器数量，若 nginx 容器无法运行，可能是 80 端口被占用，可将终端输出的代码粘贴给 AI 以解决。 3. 在浏览器地址栏输入公网 IP（去掉后面的:8888），进入后邮箱密码随便填，建立知识库并进行设置。 4. 选择模型，国内模型有免费额度可选，如智谱 ai，获取钥匙并复制保存，创建应用进行测试和发布。 基于 Hook 机制的微信 AI 机器人： 1. 将 Administrators 改成“wxid_dna83ykqawl222”。 2. 若有 FastGPT 或者 OpenAI 的 key，将 Ai_Lock 修改成“1”，并在 OpenAI 处添加模型 key；若没有，保持 Ai_Lock 为 0。 3. 修改后点击保存。 4. 返回 NGCbot 文件夹下，找到 main.py 文件双击运行。 5. 运行后会弹出微信登录框，正常登录微信，等待系统自动初始化必备文件。 6. 运行成功后，用“大号”给机器人发消息，拿到 wxid 并返回替换。 7. 添加完后，用小号登录，大号可对小号发号施令。 部署和训练自己的 AI 开源模型： 1. 选择合适的部署方式，如本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身资源、安全和性能需求选择。 2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础，如开源的 BERT、GPT 等，也可自行训练基础模型。 4. 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调，优化模型结构和训练过程以提高性能。 5. 部署和调试模型，将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护，重视大模型涉及的大量数据和隐私信息的安全性和合规性。 总的来说，部署和训练自己的大模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等，根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。
2025-04-11
DEEP SEEK 本地部署(Olama + ChatBox)+私有知识库(cherrystudio)
以下是关于 Deep Seek 本地部署（Olama + ChatBox）+私有知识库（cherrystudio）的相关内容： 一、使用 Docker + RAGFlow + Ollama 搭建个人/企业知识库 1. 将 Ollama 部署的模型接入 GARFlow 返回 RAGFlow 中，打开右上角设置，进入模型提供商，配置 Ollama 相关信息，基础 URL 按要求设置，设置完成后点击确定。 导入一个 embedding 模型用于文本向量化，导入成功后设置系统模型设置，然后返回知识库创建知识库。 进入数据集，导入文件（可设置文件夹当作知识库），导入完毕后解析文件，解析速度取决于本机 GPU 性能，解析好后进行检索测试，测试没问题即可进入聊天界面，助理设置可自行设置。 2. 使用 Ollama 本地部署 DeepSeek 模型 先下载 Ollama 程序，官方网址：https://ollama.com/ 。 下载默认到 C 盘（一般为固态盘，运行速度快），若想修改安装目录到 D 盘，后续会有说明。 下载完右下角会出现 Ollama 图标，打开命令行输入相关命令回车。 若显卡是英伟达 2060Super，可选择 Deepseekr1:14b 的模型，根据自身独立显卡性能下载。 下载速度慢可按 Ctrl+C 强制退出重新下载。 下载完毕后再下载一个嵌入模型，Ollama 的 bge 模型官方网址：https://ollama.com/library/bgem3 ，输入相关命令，下载好后直接退出终端。 二、Flowith 相关报道、采访、使用指南 |标题|发布账号|社媒来源|日期|链接| |||||| |ChatGPT 的对话框过时了？这款 AI 产品提供了一种很新的聊天方式|爱范儿|公众号|2024/04/29|| |Flowith：革新你的工作方式，体验节点式 AI 的超流畅生产力|程序那些事儿|公众号|2024/05/03|| |体验 Flowith：探索人机交互从传统聊天对话到画布式知识管理的转变|AI 兔子洞|公众号|2024/04/22|| |deepseek 服务器繁忙？硅基流不动？看看这篇，内含 18 个平台，可能是最全的 deepseek 方案。|佐佐的 AI 笔记|公众号|2025/02/06|| |满血版自部署 DeepSeekR1+知识库+联网搜索,体验下来可能就只剩下这家了!|字节笔记本|公众号|2025/02/12|| |DeepSeek 让 AI 圈卷出了新高度：Flowith 宣布 DeepSeek R1 现在免费提供!|字节笔记本|公众号|2025/01/27|| |ShowMeAI 周刊 No.15|上周最有讨论度的 6 个 AI 话题：自由画布类产品密集更新、多主体一致成发展趋势、AGI、开源…|ShowMeAI 研究中心|公众号|2025/01/21||
2025-04-10
本地部署大模型，如何微调建立本地知识库
以下是关于本地部署大模型并微调建立本地知识库的详细步骤： 一、使用 AnythingLLM 进行本地知识库搭建 1. 安装 AnythingLLM 安装地址：https://useanything.com/download 安装完成后进入配置页面，主要分为三步： 第一步：选择大模型 第二步：选择文本嵌入模型 第三步：选择向量数据库 2. 构建本地知识库 在 AnythingLLM 中创建自己独有的 Workspace 与其他项目数据隔离。 上传文档并在工作空间中进行文本嵌入。 选择对话模式，提供了 Chat 模式（大模型根据训练数据和上传文档数据综合给出答案）和 Query 模式（大模型仅依靠文档中的数据给出答案）。 二、张梦飞的全本地部署教程 1. 部署大语言模型 下载并安装 Ollama 点击进入，根据电脑系统，下载 Ollama：https://ollama.com/download 下载完成后，双击打开，点击“Install” 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 下载 qwen2:0.5b 模型 如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制相关命令行，粘贴进入，点击回车。 三、智能纪要中的相关内容 在智能纪要中，许键介绍了模型 API 调用方法与知识库创建，包括获取 API key 位置及调用设置，详细讲解了创建 Rag 应用（知识库）流程，如上传非结构化文件、数据解析、切分段落等操作，并回答了诸多问题。同时还涉及工作流创建、模型能力及相关问题的探讨，以及通义千问相关应用及明天课程安排交流等内容。 总之，本地部署大模型并建立本地知识库需要按照上述步骤进行操作和配置，同时不断实践和探索，以达到理想的效果。
2025-04-10