Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

macmini本地部署Stable Diffusion

Answer

以下是关于在 Mac mini 本地部署 Stable Diffusion 的相关信息：

目前市面上主流的 AI 绘图软件有 Stable Diffusion 和 Midjourney。Stable Diffusion 开源免费、可本地化部署、创作自由度高，但对电脑配置尤其是显卡有要求。其工作原理涉及到一系列核心组件，如将用户输入的 Prompt 文本转化成 text embedding 的 CLIP、VAE Encoder-Decoder、进行迭代降噪和在文本引导下进行多轮预测的 UNET 等。

在环境部署方面，对于觉得麻烦的同学，可以使用整合包，解压即用。比如独立研究员的空间下经常更新整合包，秋叶的启动器也非常好用，将启动器复制到下载仓库的目录下即可，更新管理更方便。打开启动器后，可一键启动。显存优化需根据显卡实际显存选择，不要超过当前显卡显存，xFormers 能极大改善内存消耗和速度，建议开启。准备工作完毕后，点击一键启动，等待浏览器自动跳出或控制台弹出本地 URL 说明启动成功。若报错提示缺少 Pytorch，需在启动器中点击配置。Stable Diffusion webui 更新频繁，可根据需求在“版本管理”目录下更新，同时注意插件的更新。Stable Diffusion 可配置大量插件扩展，在 webui 的“扩展”选项卡下，点击“加载自”后，目录会刷新，选择需要的插件点击右侧的 install 即可安装，安装完毕后需重新启动用户界面。

关于具体的安装方法可以去看看 B 站的【秋葉 aaaki】这个 Up 主的视频。

Content generated by AI large model, please carefully verify (powered by aily)

References

【SD】软件原理傻瓜级理解

作者：白马少年介绍：SD实践派，出品精细教程发布时间：2023-04-27 23:00原文网址：https://mp.weixin.qq.com/s/C-F6ARIMHotl6siAfQ9wig目前市面上主流的AI绘图软件有两个：Stable Diffusion和Midjourney。Stable Diffusion的优势在于开源免费、可以本地化部署、创作自由度很高，缺点是需要比较好的电脑配置，尤其是显卡；Midjourney的优势是操作简单方便，创作内容相当丰富，但是需要科学上网并且付费，目前的使用费大概在每月200多元左右。如果可以融入工作流，这个月费也不算高，毕竟它带来的效率是惊人的，当然前期想要了解玩一玩的，可以试试Stable Diffusion，关于具体的安装方法可以去看看B站的【秋葉aaaki】这个Up主的视频。很多还没有接触过AI绘画的朋友会觉得这个东西很神秘，哪怕装好了软件也会看着一堆英文和参数而一头雾水。今天我就用最傻瓜的方式来讲述一下Stable Diffusion的工作原理和基本功能。

第二课 《ComfyUI基础知识》 By 郭佑萌 @ ?WaytoAGI 2024.8.15 .pdf

‎的去噪结果。然而，这种迭代性质在计算效率上带来了挑战，特别是在处理大尺寸图像和‎大量扩散步骤(T)时。在采样过程中，从高斯噪声中去噪图像可能需要很长时间。为了解‎决这一问题，一组研究人员提出了一种新的方法，称为稳定扩散（Stable Diffusion），‎最初称为潜在扩散模型（Latent Diffusion Models）‎Stable Diffusion‎Stable Diffusion是一种扩散模型（diffusion model）的变体，叫做“潜在扩散模[heading1]‎型”(Latent Diffusion Models)[content]‎CLIP‎将用户输入的Prompt文本转化成text embedding‎核心的组件‎VAE Encoder-Decoder‎UNET‎UNET进行迭代降噪，在文本引导下进行多轮预测‎High-Resolution Image Synthesis with Latent Diffusion Models‎ComfyUI存放路径：models/checkpoints/‎SD1.5‎SD基础预训练模型‎SDXL‎SD1.5‎模型实例‎SDXL‎训练方法‎DreamBooth，by Google‎EMA-only&pruned VS Full‎FP16&FP32‎格式‎.pt VS.safetensor‎Bake in VAE‎模型自带已适配的VAE‎SD微调模型‎概念学习‎Checkpoint‎作用‎source：stable-diffusion-art.com/models/#How_are_models_created‎1puppy‎训练要求‎sd1.5‎12G VARM‎SDXL‎16G VARM‎The merged model sits between the realistic F222 and the anime Anything V3‎styles.It is a very good model for generating illustration art with human figures.‎(source:stable-diffusion-art.com/models/#Example_of_a_merged_model)‎融合模型‎checkpoint+checkpoint‎Lora+Lora‎形式‎checkpoint+Lora‎Baking VAE

SD新手：入门图文教程

觉得麻烦的同学可以使用整合包，解压即用。比如[独立研究员](https://link.zhihu.com/?target=https%3A//space.bilibili.com/250989068)的空间下经常更新整合包。[秋叶的启动器](https://link.zhihu.com/?target=https%3A//www.bilibili.com/video/BV1ne4y1V7QU)也非常好用，将启动器复制到下载仓库的目录下即可，更新管理会更方便。打开启动器后，可一键启动：如果有其他需求，可以在高级选项中调整配置。显存优化根据显卡实际显存选择，不要超过当前显卡显存。不过并不是指定了显存优化量就一定不会超显存，在出图时如果启动了过多的优化项（如高清修复、人脸修复、过大模型）时，依然有超出显存导致出图失败的几率。xFormers能极大地改善了内存消耗和速度，建议开启。准备工作完毕后，点击一键启动即可。等待浏览器自动跳出，或是控制台弹出本地URL后说明启动成功如果报错提示缺少Pytorch，则需要在启动器中点击配置：Stable Diffusion webui的更新比较频繁，请根据需求在“版本管理”目录下更新：同样地，也请注意插件的更新：[heading3]关于插件[content]Stable Diffusion可配置大量插件扩展，在webui的“扩展”选项卡下，可以安装插件：点击“加载自”后，目录会刷新，选择需要的插件点击右侧的install即可安装。安装完毕后，需要重新启动用户界面：

Others are asking
stable diffusion底层技术
Stable Diffusion 的底层技术主要来源于 AI 视频剪辑技术创业公司 Runway 的 Patrick Esser 以及慕尼黑大学机器视觉学习组的 Robin Romabach 之前在计算机视觉大会 CVPR22 上合作发表的潜扩散模型（Latent Diffusion Model）研究。 Stable Diffusion 是一种基于潜在扩散模型的文本到图像生成模型，其原理包括以下几个步骤： 1. 使用新颖的文本编码器（OpenCLIP），由 LAION 开发并得到 Stability AI 的支持，将文本输入转换为向量表示，以捕捉文本语义信息并与图像空间对齐。 2. 采用扩散模型，将随机噪声图像逐渐变换为目标图像。扩散模型是一种生成模型，能从训练数据中学习概率分布并采样新数据。 3. 在扩散过程中，利用文本向量和噪声图像作为条件输入，给出每一步变换的概率分布，根据文本指导噪声图像向目标图像收敛，并保持图像的清晰度和连贯性。 4. 使用超分辨率放大器（Upscaler Diffusion Model），将生成的低分辨率图像放大到更高分辨率，从低分辨率图像中恢复细节信息并增强图像质量。 此外，ComfyUI 的底层依赖 Stable Diffusion，去噪过程由 UNet 网络完成。UNet 是一种编码器解码器结构，能处理多尺度特征表示。在 ComfyUI 中，去噪的每个步骤通过模型推理模块实现，调用训练好的 UNet 模型逐步将噪声图像还原成有意义的图像。交叉注意力机制在 Stable Diffusion 中很重要，允许模型在生成过程中融入文本提示、图像、语义信息等条件，在 ComfyUI 中通过“文本提示”和“条件输入”节点实现。跳跃连接是 UNet 的核心部分，能在不同尺度之间共享特征，在 ComfyUI 的节点网络中表现为中间过程数据的流转。切换器代表在去噪过程中的不同阶段对特征流的控制，在 ComfyUI 中可通过修改模型参数节点或自定义网络结构节点对不同阶段的噪声去除策略进行微调。 Stable Diffusion 还具有以下优点： 1. 可以处理任意领域和主题的文本输入，并生成与之相符合的多样化和富有创意的图像。 2. 可以生成高达 2048x2048 或更高分辨率的图像，且保持良好的视觉效果和真实感。 它还可以进行深度引导和结构保留的图像转换和合成，例如根据输入图片推断出深度信息，并利用深度信息和文本条件生成新图片。
2025-04-15
stable video diffusion开发
以下是关于 Stable Video Diffusion 开发的相关信息： SVD 介绍： 简介：Stable Video Diffusion 是 Stability AI 于 2023 年 11 月 21 日发布的视频生成式大模型，用于高分辨率、先进的文本到视频和图像到视频生成的潜在视频扩散模型。它支持多种功能，用户可调整多种参数，但对硬件要求较高，支持的图片尺寸较小，应用场景受限。 模型版本：开源了两种图生视频的模型，一种能生成 14 帧的 SVD，另一种是可以生成 25 帧的 SVDXL，发布时通过外部评估超越了人类偏好研究中领先的封闭模型。 主要贡献：提出系统的数据管理工作流程，将大量未经管理的视频集合转变为高质量数据集；训练出性能优于现有模型的文本到视频和图像到视频模型；通过特定领域实验探索模型中运动和 3D 理解的强先验，预训练的视频扩散模型可转变为强大的多视图生成器，有助于克服 3D 领域数据稀缺问题。 部署实战避坑指南： 直接使用百度网盘里准备好的资源，可规避 90%的坑。 若一直报显存溢出问题，可调低帧数或增加 novram 启动参数。 云部署实战中，基础依赖模型权重有两个 models–laion–CLIPViTH14laion2Bs32Bb79K 和 ViTL14.pt，需放到指定路径下。 总结： Sora 发布后，此前的视频生成模型相形见绌，但 Stable Video Diffusion 作为开源项目可在自己机器上自由创作无需充值。SVD 生成的视频画质清晰，帧与帧过渡自然，能解决背景闪烁和人物一致性问题，虽目前最多生成 4 秒视频，与 Sora 的 60 秒差距大，但在不断迭代。我们会持续关注其技术及前沿视频生成技术，尝试不同部署微调方式，介绍更多技术模型，更多精彩内容后续放出。 同时，您还可以加入「AIGCmagic 社区」群聊交流讨论，涉及 AI 视频、AI 绘画、Sora 技术拆解、数字人、多模态、大模型、传统深度学习、自动驾驶等多个方向，可私信或添加微信号：【m_aigc2022】，备注不同方向邀请入群。
2025-04-15
stable diffusion是runway和goole联合开的吗
Stable Diffusion（简称 SD）不是由 Runway 和 Google 联合开发的，而是由初创公司 StabilityAI、CompVis 与 Runway 合作开发的。 Stable Diffusion 是 2022 年发布的深度学习文本到图像生成模型，其核心技术来源于 AI 视频剪辑技术创业公司 Runway 的 Patrick Esser 以及慕尼黑大学机器视觉学习组的 Robin Romabach。该项目的技术基础主要来自于这两位开发者之前在计算机视觉大会 CVPR22 上合作发表的潜扩散模型（Latent Diffusion Model）研究。 Stable diffusion 是一种基于潜在扩散模型（Latent Diffusion Models）的文本到图像生成模型，能够根据任意文本输入生成高质量、高分辨率、高逼真的图像。其原理包括使用新颖的文本编码器将文本输入转换为向量表示，利用扩散模型将随机噪声图像逐渐变换为目标图像，在扩散过程中根据文本向量和噪声图像作为条件输入给出变换的概率分布，最后使用超分辨率放大器将生成的低分辨率图像放大到更高的分辨率。 围绕 Stable Diffusion 等基础模型的兴奋和关注正在产生惊人的估值，但新研究的不断涌现确保新模型将随着新技术的完善而更替。目前，这些模型在法律方面也面临挑战，例如其训练所使用的大量内容数据集通常是通过爬取互联网本身获得的，这可能会引发法律问题。
2025-04-15
stable diffusion开发公司
Stable Diffusion 是由初创公司 StabilityAI、CompVis 与 Runway 合作开发的。其核心技术来源于 AI 视频剪辑技术创业公司 Runway 的 Patrick Esser 以及慕尼黑大学机器视觉学习组的 Robin Romabach。该项目的技术基础主要来自于他们之前在计算机视觉大会 CVPR22 上合作发表的潜扩散模型（Latent Diffusion Model）研究。 Stable Diffusion 是一种基于潜在扩散模型（Latent Diffusion Models）的文本到图像生成模型，能够根据任意文本输入生成高质量、高分辨率、高逼真的图像。其原理包括使用新颖的文本编码器（OpenCLIP）将文本输入转换为向量表示，利用扩散模型将随机噪声图像逐渐变换为目标图像，在扩散过程中以文本向量和噪声图像作为条件输入给出变换的概率分布，最后使用超分辨率放大器将生成的低分辨率图像放大到更高分辨率。 Stable Diffusion 总共有 1B 左右的参数量，可以用于文生图、图生图、图像 inpainting、ControlNet 控制生成、图像超分等丰富的任务。在文生图任务中，将一段文本输入到模型中，经过一定迭代次数输出符合文本描述的图片；图生图任务则在输入文本基础上再输入一张图片，模型根据文本提示对输入图片进行重绘。输入的文本信息通过 CLIP Text Encoder 模型编码生成与文本信息对应的 Text Embeddings 特征矩阵，用于控制图像生成。源代码库为 github.com/StabilityAI/stablediffusion ，当前版本为 2.1 稳定版（2022.12.7），其代码模型权重已公开发布，可以在大多数配备有适度 GPU 的电脑硬件上运行。
2025-04-15
stable diffusion开发公司
Stable Diffusion 是由初创公司 Stability AI、CompVis 与 Runway 合作开发的。其核心技术来源于 AI 视频剪辑技术创业公司 Runway 的 Patrick Esser 以及慕尼黑大学机器视觉学习组的 Robin Romabach。该项目的技术基础主要来自于他们之前在计算机视觉大会 CVPR22 上合作发表的潜扩散模型（Latent Diffusion Model）研究。 Stable Diffusion 是一种基于潜在扩散模型（Latent Diffusion Models）的文本到图像生成模型，能够根据任意文本输入生成高质量、高分辨率、高逼真的图像。其原理包括使用新颖的文本编码器（OpenCLIP）将文本输入转换为向量表示，利用扩散模型将随机噪声图像逐渐变换为目标图像，在扩散过程中以文本向量和噪声图像作为条件输入给出变换概率分布，最后使用超分辨率放大器将生成的低分辨率图像放大到更高分辨率。 Stable Diffusion 总共有 1B 左右的参数量，可以用于文生图、图生图、图像 inpainting、ControlNet 控制生成、图像超分等丰富的任务。其代码模型权重已公开发布，可以在大多数配备有适度 GPU 的电脑硬件上运行，当前版本为 2.1 稳定版（2022.12.7），源代码库为 github.com/StabilityAI/stablediffusion 。
2025-04-15
有stable diffusion的学习教程吗
以下为您提供一些 Stable Diffusion 的学习教程： 1. 超详细的 Stable Diffusion 教程： 介绍了为什么要学习 Stable Diffusion 及其强大之处。 指出 Stable Diffusion 是能根据输入文字生成图片的软件。 强调学习目的是快速入门，而非深入研究原理，通过案例和实际操作帮助上手。 2. 深入浅出完整解析 Stable Diffusion（SD）核心基础知识 知乎： 包含 Stable Diffusion 系列资源。 零基础深入浅出理解 Stable Diffusion 核心基础原理，如模型工作流程、核心基础原理、训练全过程等。 解析 Stable Diffusion 核心网络结构，包括 SD 模型整体架构、VAE 模型、UNet 模型等。 介绍从 0 到 1 搭建使用 Stable Diffusion 模型进行 AI 绘画的流程。 列举 Stable Diffusion 经典应用场景。 讲解从 0 到 1 上手使用 Stable Diffusion 训练自己的 AI 绘画模型。 3. 视频教程： 「AI 绘画」软件比较与 stable diffusion 的优势： 「AI 绘画」零基础学会 Stable Diffusion： 「AI 绘画」革命性技术突破： 「AI 绘画」从零开始的 AI 绘画入门教程——魔法导论： 「入门 1」5 分钟搞定 Stable Diffusion 环境配置，消灭奇怪的报错： 「入门 2」stable diffusion 安装教程，有手就会不折腾： 「入门 3」你的电脑是否跑得动 stable diffusion？： 「入门 4」stable diffusion 插件如何下载和安装？：
2025-03-28
如何本地部署大模型，如何选择是否使用云服务商
以下是关于本地部署大模型以及选择是否使用云服务商的相关内容： 本地部署大模型的主要步骤： 1. 选择合适的部署方式，包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础，可以使用开源的预训练模型如 BERT、GPT 等，也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调训练，优化模型结构和训练过程以提高性能。 5. 部署和调试模型，将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护，大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 以 SDXL 为例的本地部署步骤： 1. SDXL 的大模型分为两个部分，base+refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对生成的模型进行细化，生成细节更丰富的图片。还有一个配套的 VAE 模型，用于调节图片的画面效果和色彩。 2. 想要在 webUI 中使用 SDXL 的大模型，首先要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 将模型放入对应的文件夹中，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成之后，启动 webUI，就可以在模型中看到 SDXL 的模型。 以 LLM 大语言模型为例的本地部署步骤： 1. 下载并安装 Ollama，点击进入根据电脑系统下载 Ollama：https://ollama.com/download ，下载完成后，双击打开，点击“Install”，安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 。 2. 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）。如果是 windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。复制相关命令行，粘贴进入，点击回车，等待下载完成。 总的来说，部署大模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。
2025-04-14
本地部署
SDXL 的本地部署步骤如下： 1. 模型下载：SDXL 的大模型分为两个部分，第一部分 base + refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对文生图生成的模型进行细化以生成细节更丰富的图片。此外，还有一个配套的 VAE 模型用于调节图片的画面效果和色彩。这三个模型可通过关注公众号【白马与少年】，回复【SDXL】获取云盘下载链接。 2. 版本升级：要在 webUI 中使用 SDXL 的大模型，需在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 放置模型：将 base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。 4. 启动使用：完成上述步骤后启动 webUI，即可在模型中看到 SDXL 的模型。正常使用时，先在文生图中使用 base 模型，填写提示词和常规参数（如尺寸设置为 10241024）进行生成。然后将图片发送到图生图当中，大模型切换为“refiner”，重绘幅度开小一点再次点击生成。 5. 插件辅助：若觉得操作麻烦，可在扩展列表中搜索 refine 安装插件并重启，启用插件后可在文生图界面直接使用 refine 模型进行绘画。 另外，关于本地部署资讯问答机器人：Langchain + Ollama + RSSHub 实现 RAG，步骤包括导入依赖库（如 feedparse 用于解析 RSS 订阅源，ollama 用于在 python 程序中跑大模型，使用前需确保 ollama 服务已开启并下载好模型）、从订阅源获取内容（通过指定函数从 RSS 订阅 url 提取内容，并将长文本拆分成较小的块附带相关元数据）、为文档内容生成向量（使用文本向量模型 bgem3，从 hf 下载好模型后放置在指定路径，通过函数利用 FAISS 创建高效的向量存储），最终实现 RAG。
2025-04-13
我有秋叶整合包，然后需要怎么搭建本地部署？
以下是使用秋叶整合包搭建本地部署的步骤： 1. 下载整合包：可以从。 2. 复制启动器到下载仓库的目录下。 3. 打开启动器，可一键启动。如果有其他需求，可以在高级选项中调整配置。 显存优化根据显卡实际显存选择，不要超过当前显卡显存。xFormers 能极大地改善内存消耗和速度，建议开启。 4. 准备工作完毕后，点击一键启动即可。等待浏览器自动跳出，或是控制台弹出本地 URL 后说明启动成功。 如果报错提示缺少 Pytorch，则需要在启动器中点击配置。 5. Stable Diffusion webui 的更新比较频繁，请根据需求在“版本管理”目录下更新，同时注意插件的更新。 在 webui 的“扩展”选项卡下，可以安装插件。点击“加载自”后，目录会刷新，选择需要的插件点击右侧的 install 即可安装。安装完毕后，需要重新启动用户界面。 具体安装方法： 1. 打开整合包链接（https://pan.baidu.com/s/1hY8CKbYRAj9RrFGmswdNiA?pwd=caru ，提取码：caru），下载《1.整合包安装》，存放到电脑本地。 2. 打开保存到电脑里的文件夹。 3. 打开文件夹《1.秋叶整合包主包》，鼠标右击文件，点击“解压文件”。 4. 选择解压到 D 盘或者 E 盘（避免 C 盘被占满），点击确定。 5. 解压完成后，来到第二个文件夹，双击里面的文件，点击安装。 6. 打开刚刚解压保存的 SD 的根目录，找到启动器，鼠标右击启动器，点击“发送到”，选择桌面快捷方式，方便下次进入。 7. 双击启动器，等待更新，接着点击左边第二个“高级选项”，在显存优化里，根据自己电脑的显存选择。 8. 回到第一个一键启动，点击右下角的一键启动。出现代码页面不用管，等待 SD 的主界面在网页上自动弹出。如果出现报错，可以回到最开始的界面，在左边点击“疑难解答”，再点击右边的“开始扫描”，最后点击“修复”按钮。
2025-04-12
如何部署自己私人AI
部署自己私人 AI 可以参考以下几种方式： 通过云服务器、dify、智能微秘书来免费搭建微信机器人： 1. 在宝塔面板的终端安装相关命令，这些命令位于/root/dify/docker 目录下。 2. 检查运行的容器数量，若 nginx 容器无法运行，可能是 80 端口被占用，可将终端输出的代码粘贴给 AI 以解决。 3. 在浏览器地址栏输入公网 IP（去掉后面的:8888），进入后邮箱密码随便填，建立知识库并进行设置。 4. 选择模型，国内模型有免费额度可选，如智谱 ai，获取钥匙并复制保存，创建应用进行测试和发布。 基于 Hook 机制的微信 AI 机器人： 1. 将 Administrators 改成“wxid_dna83ykqawl222”。 2. 若有 FastGPT 或者 OpenAI 的 key，将 Ai_Lock 修改成“1”，并在 OpenAI 处添加模型 key；若没有，保持 Ai_Lock 为 0。 3. 修改后点击保存。 4. 返回 NGCbot 文件夹下，找到 main.py 文件双击运行。 5. 运行后会弹出微信登录框，正常登录微信，等待系统自动初始化必备文件。 6. 运行成功后，用“大号”给机器人发消息，拿到 wxid 并返回替换。 7. 添加完后，用小号登录，大号可对小号发号施令。 部署和训练自己的 AI 开源模型： 1. 选择合适的部署方式，如本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身资源、安全和性能需求选择。 2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础，如开源的 BERT、GPT 等，也可自行训练基础模型。 4. 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调，优化模型结构和训练过程以提高性能。 5. 部署和调试模型，将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护，重视大模型涉及的大量数据和隐私信息的安全性和合规性。 总的来说，部署和训练自己的大模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等，根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。
2025-04-11
DEEP SEEK 本地部署(Olama + ChatBox)+私有知识库(cherrystudio)
以下是关于 Deep Seek 本地部署（Olama + ChatBox）+私有知识库（cherrystudio）的相关内容： 一、使用 Docker + RAGFlow + Ollama 搭建个人/企业知识库 1. 将 Ollama 部署的模型接入 GARFlow 返回 RAGFlow 中，打开右上角设置，进入模型提供商，配置 Ollama 相关信息，基础 URL 按要求设置，设置完成后点击确定。 导入一个 embedding 模型用于文本向量化，导入成功后设置系统模型设置，然后返回知识库创建知识库。 进入数据集，导入文件（可设置文件夹当作知识库），导入完毕后解析文件，解析速度取决于本机 GPU 性能，解析好后进行检索测试，测试没问题即可进入聊天界面，助理设置可自行设置。 2. 使用 Ollama 本地部署 DeepSeek 模型 先下载 Ollama 程序，官方网址：https://ollama.com/ 。 下载默认到 C 盘（一般为固态盘，运行速度快），若想修改安装目录到 D 盘，后续会有说明。 下载完右下角会出现 Ollama 图标，打开命令行输入相关命令回车。 若显卡是英伟达 2060Super，可选择 Deepseekr1:14b 的模型，根据自身独立显卡性能下载。 下载速度慢可按 Ctrl+C 强制退出重新下载。 下载完毕后再下载一个嵌入模型，Ollama 的 bge 模型官方网址：https://ollama.com/library/bgem3 ，输入相关命令，下载好后直接退出终端。 二、Flowith 相关报道、采访、使用指南 |标题|发布账号|社媒来源|日期|链接| |||||| |ChatGPT 的对话框过时了？这款 AI 产品提供了一种很新的聊天方式|爱范儿|公众号|2024/04/29|| |Flowith：革新你的工作方式，体验节点式 AI 的超流畅生产力|程序那些事儿|公众号|2024/05/03|| |体验 Flowith：探索人机交互从传统聊天对话到画布式知识管理的转变|AI 兔子洞|公众号|2024/04/22|| |deepseek 服务器繁忙？硅基流不动？看看这篇，内含 18 个平台，可能是最全的 deepseek 方案。|佐佐的 AI 笔记|公众号|2025/02/06|| |满血版自部署 DeepSeekR1+知识库+联网搜索,体验下来可能就只剩下这家了!|字节笔记本|公众号|2025/02/12|| |DeepSeek 让 AI 圈卷出了新高度：Flowith 宣布 DeepSeek R1 现在免费提供!|字节笔记本|公众号|2025/01/27|| |ShowMeAI 周刊 No.15|上周最有讨论度的 6 个 AI 话题：自由画布类产品密集更新、多主体一致成发展趋势、AGI、开源…|ShowMeAI 研究中心|公众号|2025/01/21||
2025-04-10
本地部署大模型，如何微调建立本地知识库
以下是关于本地部署大模型并微调建立本地知识库的详细步骤： 一、使用 AnythingLLM 进行本地知识库搭建 1. 安装 AnythingLLM 安装地址：https://useanything.com/download 安装完成后进入配置页面，主要分为三步： 第一步：选择大模型 第二步：选择文本嵌入模型 第三步：选择向量数据库 2. 构建本地知识库 在 AnythingLLM 中创建自己独有的 Workspace 与其他项目数据隔离。 上传文档并在工作空间中进行文本嵌入。 选择对话模式，提供了 Chat 模式（大模型根据训练数据和上传文档数据综合给出答案）和 Query 模式（大模型仅依靠文档中的数据给出答案）。 二、张梦飞的全本地部署教程 1. 部署大语言模型 下载并安装 Ollama 点击进入，根据电脑系统，下载 Ollama：https://ollama.com/download 下载完成后，双击打开，点击“Install” 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 下载 qwen2:0.5b 模型 如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制相关命令行，粘贴进入，点击回车。 三、智能纪要中的相关内容 在智能纪要中，许键介绍了模型 API 调用方法与知识库创建，包括获取 API key 位置及调用设置，详细讲解了创建 Rag 应用（知识库）流程，如上传非结构化文件、数据解析、切分段落等操作，并回答了诸多问题。同时还涉及工作流创建、模型能力及相关问题的探讨，以及通义千问相关应用及明天课程安排交流等内容。 总之，本地部署大模型并建立本地知识库需要按照上述步骤进行操作和配置，同时不断实践和探索，以达到理想的效果。
2025-04-10