Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

如何建立本地大模型

Answer

建立本地大模型需要以下步骤：

  1. 硬件要求：运行大模型需要较高的机器配置，不同类型的大模型对硬件的要求不同。例如，生成文字大模型的最低配置为 8G RAM + 4G VRAM，建议配置为 16G RAM + 8G VRAM，理想配置为 32G RAM + 24G VRAM（如果要跑 GPT-3.5 差不多性能的大模型）；生成图片大模型（比如跑 SD）的最低配置为 16G RAM + 4G VRAM，建议配置为 32G RAM + 12G VRAM；生成音频大模型的最低配置为 8G VRAM +。
  2. 下载模型：SDXL 的大模型分为 base+refiner 和 VAE 模型两部分。base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对文生图生成的模型进行细化；VAE 模型用于调节图片的画面效果和色彩。可以关注公众号【白马与少年】，回复【SDXL】获取下载链接。
  3. 升级 webUI 版本：将 webUI 的版本升级到 1.5 以上。
  4. 放置模型：将 base 和 refiner 放在“……\sd-webui-aki-v4.2\models\Stable-diffusion”路径下，将 VAE 放在“……\sd-webui-aki-v4.2\models\VAE”路径下。
  5. 启动 webUI：启动 webUI，在模型中可以看到 SDXL 的模型。
  6. 使用模型：在文生图中使用 base 模型，填写提示词和常规参数，进行生成。

需要注意的是，虽然可以在本地搭建知识库，但不一定能跑起来，因为运行大模型需要很高的机器配置，个人玩家的大多数都负担不起。

Content generated by AI large model, please carefully verify (powered by aily)

References

【SD】向未来而生，关于SDXL你要知道事儿

SDXL的大模型分为两个部分：第一部分，base+refiner是必须下载的，base是基础模型，我们使用它进行文生图的操作；refiner是精炼模型，我们使用它对文生图中生成的模型进行细化，生成细节更丰富的图片。第二部分，是SDXL还有一个配套的VAE模型，用于调节图片的画面效果和色彩。这三个模型，我已经放入了云盘链接中，大家可以关注我的公众号【白马与少年】，然后回复【SDXL】获取下载链接。想要在webUI中使用SDXL的大模型，首先我们要在秋叶启动器中将webUI的版本升级到1.5以上。接下来，将模型放入对应的文件夹中，base和refiner放在“……sd-webui-aki-v4.2modelsStable-diffusion”路径下；vae放在“……sd-webui-aki-v4.2modelsVAE”路径下。完成之后，我们启动webUI，就可以在模型中看到SDXL的模型了。我们正常的使用方法是这样的：先在文生图中使用base模型，填写提示词和常规参数，尺寸可以设置为1024*1024，进行生成。我这边使用了一个最简单的提示词“1girl”，来看看效果。生成的图片大家可以看一下，我觉得是相当不错的。

手把手教你本地部署大模型以及搭建个人知识库

1.首先访问如下网址当你打开这个页面的时候，会让你登陆，这个时候我们随便使用一个邮箱注册一个账号即可1.和本地大模型进行对话登陆成功之后，如果你已经使用过ChatGPT等类似的大模型对话网站，我相信你对这个页面并不陌生。Open WebUI一般有两种使用方式第一种是聊天对话第二种是RAG能力，也就是可以让模型根据文档内容来回答问题。这种能力就是构建知识库的基础之一如果你的要求不高的话，我们已经搭建了一个本地大模型了，并且通过Web UI实现了和大模型进行对话的功能。相信通过这么一通折腾，你就理解了ChatGPT的信息流，至于为什么ChatGPT的访问速度比我们自己的要快，而且回答效果要好，有两个原因快：是因为GPT大模型部署的服务器配置高好：是因为GPT大模型的训练参数多，数据更优以及训练算法更好如果你想要更加灵活的掌握你的知识库，请接着往下看

手把手教你本地部署大模型以及搭建个人知识库

所有人都会手把手教你部署XX大模型，听起来很诱人，因为不需要科学上网，不需要高昂的ChatGPT会员费用。但是在开启下面的教程之前，我希望你能有个概念：运行大模型需要很高的机器配置，个人玩家的大多数都负担不起所以：虽然你的本地可能可以搭建出一个知识库，但是它不一定能跑的起来下面我通过一组数据来让大家有个感性的认知。以下文字来源于视频号博主：黄益贺，非作者实操生成文字大模型最低配置：8G RAM + 4G VRAM建议配置：16G RAM + 8G VRAM理想配置：32G RAM + 24G VRAM（如果要跑GPT-3.5差不多性能的大模型）生成图片大模型（比如跑SD）最低配置：16G RAM + 4G VRAM建议配置：32G RAM + 12G VRAM生成音频大模型最低配置：8G VRAM +建议配置：24G VRAM而最低配置我就不建议了，真的非常慢，这个我已经用我自己8G的Mac电脑替你们试过了。讲这个不是泼大家冷水，而是因为我的文章目标是要做到通俗易懂，不希望通过夸大的方式来吸引你的眼球。

Others are asking
大模型的系统提示词
大模型的系统提示词主要包括以下方面： 1. 在“五津：一键生成‘摸鱼打工猫’视频”中，针对用户选择的主题和回答，总结用户的创作意图，如“打工猫摸鱼的 2 小时，在巴厘岛能看一场日落”，并根据此生成 4 组体现幽默风趣、以宫崎骏风格描绘主角为摸秋刀鱼橘猫的绘图提示词，以数组形式输出到“tishici”，将用户意图输出到“biaoti”。 2. 在“云中江树：智能对决：提示词攻防中的 AI 安全博弈”中，系统提示词的相关防御措施分为输入侧、模型侧和输出侧三个部分。输入侧可进行意图识别、语义匹配等综合判断用户输入是否恶意；模型侧对于有能力的厂商应增强安全性并平衡性能，开发者则要在开发中带着安全意识优化系统提示词，加入安全引导和禁止内容等；输出侧可使用传统防御和内容过滤手段，并针对大模型特点进行私有数据泄露等检查。此外，还提到间接注入和提示词泄露的情况，间接注入常发生在应用获取依赖外部数据资源时，攻击者通过隐藏恶意指令完成攻击；提示词泄露指试图操纵模型输出获取部分或全部系统提示词，大模型输出内容可分为系统提示词、用户提示和助手提示词三段，通过攻击手段可获取系统提示词。
2025-04-18
通义千问Qwen2.5-VL、阶跃星辰step-1.5v-mini、Gemini-2.0-Flash，这3个视觉理解大模型哪个最厉害？
以下是对通义千问 Qwen2.5VL 模型的介绍： 版本：有 3B、7B 和 72B 三个尺寸版本。 主要优势： 视觉理解能力：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。 视频理解能力：支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。 万物识别：擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位：采用矩形框和点的多样化方式对通用物体定位，支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解：提升 OCR 识别能力，增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析：设计了更全面的文档解析格式，称为 QwenVL HTML 格式，能够精准还原文档中的版面布局。 增强的视频理解：引入动态帧率（FPS）训练和绝对时间编码技术，支持小时级别的超长视频理解，具备秒级的事件定位能力。 开源平台： Huggingface：https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope：https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat：https://chat.qwenlm.ai 然而，对于阶跃星辰 step1.5vmini 和 Gemini2.0Flash 模型，目前提供的信息中未包含其与通义千问 Qwen2.5VL 模型的直接对比内容，因此无法确切判断哪个模型在视觉理解方面最厉害。但从通义千问 Qwen2.5VL 模型的上述特点来看，其在视觉理解方面具有较强的能力和优势。
2025-04-15
目前全世界最厉害的对视频视觉理解能力大模型是哪个
目前在视频视觉理解能力方面表现出色的大模型有： 1. 昆仑万维的 SkyReelsV1：它不仅支持文生视频、图生视频，还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。擅长万物识别，能分析图像中的文本、图表、图标、图形和布局等。
2025-04-15
目前全世界最厉害的视频视觉理解大模型是哪个
目前全世界较为厉害的视频视觉理解大模型有以下几个： 1. 昆仑万维的 SkyReelsV1：不仅支持文生视频、图生视频，是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元：语义理解能力出色，能精准还原复杂的场景和动作，如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5：全球最快的 AI 视频生成模型，Turbo 模式下可在 10 秒内生成视频，最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能，具备顶尖动漫生成能力。
2025-04-15
目前全世界最厉害的视觉理解大模型是哪个
目前在视觉理解大模型方面，较为突出的有 DeepSeek 的 JanusPro 模型，它将图像理解和生成统一在一个模型中；还有通义千问的视觉理解模型，其价格有较大降幅。此外，Pixverse V3.5 是全球最快的 AI 视频生成模型，在某些方面也展现出了出色的能力。但很难确切地指出全世界最厉害的视觉理解大模型，因为这取决于不同的评估标准和应用场景。
2025-04-15
大模型对话产品的优劣
大模型对话产品具有以下优点： 1. 具有强大的语言理解和生成能力。 2. 能够提供类似恋爱般令人上头的体验，具有一定的“想象力”和“取悦能力”。 3. 可以通过陪聊建立人和 AI 之间的感情连接，产品粘性不完全依赖技术优越性。 4. 能够为用户提供产品咨询服务，适用于有企业官网、钉钉、微信等渠道的客户。 5. 具有多种应用场景，如私有领域知识问答、个性化聊天机器人、智能助手等。 大模型对话产品也存在一些缺点： 1. 存在记忆混乱的问题。 2. AI 无法主动推动剧情，全靠用户脑补，导致用户上头期短，疲劳度高，长期留存低。 3. 无法回答私有领域问题（如公司制度、人员信息等）。 4. 无法及时获取最新信息（如实时天气、比赛结果等）。 5. 无法准确回答专业问题（如复杂数学计算、图像生成等）。
2025-04-14
本地部署大模型，如何微调建立本地知识库
以下是关于本地部署大模型并微调建立本地知识库的详细步骤： 一、使用 AnythingLLM 进行本地知识库搭建 1. 安装 AnythingLLM 安装地址：https://useanything.com/download 安装完成后进入配置页面，主要分为三步： 第一步：选择大模型 第二步：选择文本嵌入模型 第三步：选择向量数据库 2. 构建本地知识库 在 AnythingLLM 中创建自己独有的 Workspace 与其他项目数据隔离。 上传文档并在工作空间中进行文本嵌入。 选择对话模式，提供了 Chat 模式（大模型根据训练数据和上传文档数据综合给出答案）和 Query 模式（大模型仅依靠文档中的数据给出答案）。 二、张梦飞的全本地部署教程 1. 部署大语言模型 下载并安装 Ollama 点击进入，根据电脑系统，下载 Ollama：https://ollama.com/download 下载完成后，双击打开，点击“Install” 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 下载 qwen2:0.5b 模型 如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制相关命令行，粘贴进入，点击回车。 三、智能纪要中的相关内容 在智能纪要中，许键介绍了模型 API 调用方法与知识库创建，包括获取 API key 位置及调用设置，详细讲解了创建 Rag 应用（知识库）流程，如上传非结构化文件、数据解析、切分段落等操作，并回答了诸多问题。同时还涉及工作流创建、模型能力及相关问题的探讨，以及通义千问相关应用及明天课程安排交流等内容。 总之，本地部署大模型并建立本地知识库需要按照上述步骤进行操作和配置，同时不断实践和探索，以达到理想的效果。
2025-04-10
如何建立知识库
以下是建立知识库的详细步骤： 1. 选择“Manage Your Knowledge Base”，进入知识库管理页面。 2. 在页面左上角点击加号，添加新的知识库。 3. 给知识库起一个易于分辨的名字。 4. 点击添加文件，建议使用 Markdown 格式的文件。 5. 等待 Flowith 对文件进行抽取等处理。 6. 处理完毕后，可在知识库管理页面测试检索。 另外，还可以通过以下方式创建知识库并上传表格数据： 1. 在页面顶部进入知识库页面，单击创建知识库。 2. 在弹出的页面配置知识库名称、描述，单击确认（团队内知识库名称需唯一）。 3. 在单元页面，单击新增单元。 4. 在弹出的页面，选择表格格式，然后选择本地文件或 API 的方式完成数据上传。 在 Coze 中创建知识库： 1. 来到个人空间，找到知识库导航栏，点击创建知识库。 2. 选择知识库的格式（目前支持文档、表格、图片），填写相关信息。 3. 可选择本地文档、自定义的文档切割等。 4. 数据处理完成后，一个问答对会被切割成一个文档片。 关于使用知识库，可参考教程：
2025-04-08
用ai建立知识库和直接使用ai有什么区别、
用 AI 建立知识库和直接使用 AI 主要有以下区别： 直接使用 AI 时，AI 生成的内容可能较为笼统模糊，就像遇到只会说“很急，今天就要”却不提供具体指导的领导。若想让 AI 成为得力助手，需对复杂任务进行拆解，提供方法论和定义输出格式。 建立知识库就如同为 AI 准备了“教科书”。知识库灵活，但偶尔会出现查不到内容而“猜题”的情况。例如，将《梦想与颠覆》卡牌等相关内容导入作为 AI 可调用的知识库，后续在创作中激活知识库，AI 会根据场景自动匹配库内素材，使输出更具针对性。 相比之下，微调类似于让 AI“自己真的学会了整本书”，答题更快更准，但训练成本高。微调适合高精度、长期任务，而知识库更适合临时查找、快速问答。
2025-03-30
如何建立个人知识库
建立个人知识库可以通过以下方式： 1. 利用 GPT 打造个人知识库： 使用 embeddings：将文本转换成向量，节省空间，可理解为索引。把大文本拆分成小文本块并转换为 embeddings 向量，保存在向量储存库中。当用户提问时，将问题转换为向量并与库中向量比对，提取关联度高的文本块与问题组合成新的 prompt 发送给 GPT API。 理解 embeddings：embeddings 是浮点数字的向量，向量间距离衡量关联性，小距离表示高关联度。 2. 本地部署大模型以及搭建个人知识库： 了解 RAG：利用大模型能力搭建知识库是 RAG 技术的应用。在大模型训练数据截止后，通过检索外部数据并在生成步骤中传递给 LLM。RAG 应用包括文档加载、文本分割、存储、检索和输出 5 个过程。 文本加载器：将用户提供的文本加载到内存中，便于后续处理。
2025-03-28
如何从0到1建立dify
从 0 到 1 建立 Dify 的步骤如下： 1. 准备数据： 收集需要纳入知识库的文本数据，包括文档、表格等格式。 对数据进行清洗、分段等预处理，确保数据质量。 2. 创建数据集： 在 Dify 中创建一个新的数据集，并将准备好的文档上传至该数据集。 为数据集编写良好的描述，描述清楚数据集包含的内容和特点。 3. 配置索引方式： Dify 提供了三种索引方式供选择：高质量模式、经济模式和 Q&A 分段模式。 根据实际需求选择合适的索引方式，如需要更高准确度可选高质量模式。 4. 集成至应用： 将创建好的数据集集成到 Dify 的对话型应用中，作为应用的上下文知识库使用。 在应用设置中，可以配置数据集的使用方式，如是否允许跨数据集搜索等。 5. 持续优化： 收集用户反馈，对知识库内容和索引方式进行持续优化和迭代。 定期更新知识库，增加新的内容以保持知识库的时效性。 Dify 有以下两种使用方式： 1. 云服务版本。直接在官网 dify.ai 上注册账号使用。 2. 部署社区版。开源，可商用，但是不能作为多租户服务使用。对个人使用完全无限制。 部署前提条件：2 核 4G 云服务器一台（约 159 元）。 部署过程： 1. 参考 https://docs.dify.ai/v/zhhans/gettingstarted/installselfhosted/dockercompose 。 2. 这些命令在宝塔面板的终端安装。 3. 检查运行情况，如遇到问题（如 80 端口被占用），按照 AI 的方法解决。 4. 在浏览器输入公网 IP 进入，邮箱密码随便填，建立知识库并设置。 5. 选择模型，如智谱 AI，获取钥匙并复制保存。 6. 创建应用并测试发布。
2025-03-24
如何建立自己的知识库
建立自己的知识库可以参考以下几种方法： 1. 使用 flowith 指南： 拆解创作任务：将复杂任务拆解到合适颗粒度，提供方法论和定义输出格式。 建立定向知识库：将相关元知识导入 flowith 的知识花园，转化为文字上传，打开智能拆分模式，形成知识“种子”。激活知识库后，AI 会根据创作场景自动匹配库内素材，还可发布或分享知识库。 2. 基于 GPT 打造： 搭建基于 GPT API 的定制化知识库涉及给 GPT 输入定制化知识，但 GPT3.5 免费版交互容量有限。 理解 embeddings：embeddings 是浮点数字的向量，向量间距离衡量关联性，小距离表示高关联度。 3. 用 Coze 免费打造微信 AI 机器人： 设计 AI 机器人，确定功能范围。 创建知识库：整理“关键字”与“AI 相关资料链接”的对应关系，支持多种文档类型，如本地文档、在线数据、飞书文档、Notion 等，可使用特殊分割符如“”便于自动切分数据。
2025-03-20