Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

gemini本地部署

Answer

Gemini 相关信息如下：

  • Mistral Small 3 仅 24B 参数，但性能媲美 70B 级别模型，适合本地部署。
  • Gemini 2.0 Flash 正式上线，高级用户支持 100 万 token（1M）上下文窗口，可处理 1500 页文件，新增 Deep Research&Gems 等高级功能，提升任务深度理解能力，图像生成功能升级至 Imagen 3，优化细节与指令解析，Gemini 1.5 Flash&Pro 将继续提供数周支持，助用户平稳过渡。
  • AlphaCode 团队构建了基于 Gemini 的 AlphaCode 2，将 Gemini 的推理能力与搜索和工具使用相结合，在解决竞争性编程问题方面表现出色。同时，Gemini Nano 提升了效率，在设备上的任务中表现出色，如摘要、阅读理解、文本补全等，在推理、STEM、编码、多模态和多语言任务中展示出令人印象深刻的能力。在评估方面，涵盖了良好的研究 Benchmark 和人类偏好的评估，包括文本、代码、图像、音频和视频，包括英语性能和多语言能力。还讨论了部署方法，包括影响评估、制定模型策略、评估和减轻危害的过程。最后探讨了 Gemini 的更广泛影响、局限性和潜在应用。
Content generated by AI large model, please carefully verify (powered by aily)

References

2月1日 社区动态速览

估值达33亿美元，较去年增长3倍，总融资金额达2.81亿美元。投资方包括a16z、ICONIQ Growth、NEA等，资金将用于AI语音交互技术升级。CEO目标：让人与AI的对话自然如真人交流。?[X平台原文](https://x.com/imxiaohu/status/1885139948640354661)丨?[详细信息](https://www.xiaohu.ai/c/xiaohu-ai/elevenlabs-1-8-c-33)5⃣️?Mistral AI发布Mistral Small 3仅24B参数，性能媲美70B级别模型，适合本地部署。对比Llama 3.3 70B、Qwen 32B，是GPT-4o-mini的优秀开源替代品。MMLU基准测试81%，生成速度高达150 tokens/s，运行效率极高。?[X平台原文](https://x.com/imxiaohu/status/1885136176648266164)6⃣️⚡Gemini 2.0 Flash正式上线高级用户支持100万token（1M）上下文窗口，可处理1500页文件。新增Deep Research&Gems等高级功能，提升任务深度理解能力。图像生成功能升级至Imagen 3，优化细节与指令解析。Gemini 1.5 Flash&Pro将继续提供数周支持，助用户平稳过渡。?[X平台原文](https://x.com/imxiaohu/status/1885133436928868667)>>更多详细内容查看[XiaoHu.AI日报](https://waytoagi.feishu.cn/wiki/T2fUwmHBSiHU6Ukq9Imcu7n7nMh)

XiaoHu.AI日报

投资方包括a16z、ICONIQ Growth、NEA等。公司估值达33亿美元，较去年增长3倍。总融资金额达2.81亿美元，推动AI语音交互发展。CEO表示目标是让人与AI的对话像真人交流一样自然。?[https://x.com/imxiaohu/status/1885139948640354661](https://x.com/imxiaohu/status/1885139948640354661)?详细信息：?[https://www.xiaohu.ai/c/xiaohu-ai/elevenlabs-1-8-c-33](https://www.xiaohu.ai/c/xiaohu-ai/elevenlabs-1-8-c-33)5⃣️?Mistral AI发布Mistral Small 3仅24B参数，但性能媲美70B级别模型，适合本地部署。对比Llama 3.3 70B或Qwen 32B，是GPT-4o-mini等专有模型的优秀开源替代品。MMLU基准测试81%，生成速度可达150 tokens/s，运行效率极高。?[https://x.com/imxiaohu/status/1885136176648266164](https://x.com/imxiaohu/status/1885136176648266164)6⃣️⚡Gemini 2.0 Flash正式上线

Gemini report 中文翻译

大型语言模型的推理能力，显示出在构建能够解决更复杂的多步问题的通用agents方面的潜力。AlphaCode团队构建了AlphaCode 2（Leblond等人，2023年），这是一个新的基于Gemini的agent，它将Gemini的推理能力与搜索和工具使用相结合，在解决竞争性编程问题方面表现出色。AlphaCode 2在Codeforces竞技编程平台上排名前15％的参赛者中，相比于排名前50％的最新技术有了很大的改进（Li等人2022年）。同时，我们通过Gemini Nano提升了效率，这是一系列针对设备部署的小型模型。这些模型在设备上的任务中表现出色，如摘要、阅读理解、文本补全任务，并且相对于其大小，在推理、STEM、编码、多模态和多语言任务中展示出令人印象深刻的能力。在下面的部分中，我们首先提供模型架构、训练基础结构和训练数据集的概述。然后，我们提出了详细Gemini模型的评估，涵盖了良好的研究Benchmark和人类偏好的评估，包括文本，代码，图像，音频和视频，包括英语性能和多语言能力。我们还讨论了我们的部署方法，包括在部署决策之前进行影响评估、制定模型策略、评估和减轻危害的过程。最后，我们讨论了Gemini的更广泛影响，以及它的局限性和潜在应用，为人工智能研究和创新开辟了新时代的道路。

Others are asking
通义千问Qwen2.5-VL、阶跃星辰step-1.5v-mini、Gemini-2.0-Flash，这3个视觉理解大模型哪个最厉害？
以下是对通义千问 Qwen2.5VL 模型的介绍： 版本：有 3B、7B 和 72B 三个尺寸版本。 主要优势： 视觉理解能力：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。 视频理解能力：支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。 万物识别：擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位：采用矩形框和点的多样化方式对通用物体定位，支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解：提升 OCR 识别能力，增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析：设计了更全面的文档解析格式，称为 QwenVL HTML 格式，能够精准还原文档中的版面布局。 增强的视频理解：引入动态帧率（FPS）训练和绝对时间编码技术，支持小时级别的超长视频理解，具备秒级的事件定位能力。 开源平台： Huggingface：https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope：https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat：https://chat.qwenlm.ai 然而，对于阶跃星辰 step1.5vmini 和 Gemini2.0Flash 模型，目前提供的信息中未包含其与通义千问 Qwen2.5VL 模型的直接对比内容，因此无法确切判断哪个模型在视觉理解方面最厉害。但从通义千问 Qwen2.5VL 模型的上述特点来看，其在视觉理解方面具有较强的能力和优势。
2025-04-15
gemini-2.5目前是什么水平
Gemini 2.5 是一款全能思考模型，具有以下特点和优势： 多领域达到 SOTA 水平，逻辑、代码、任务处理能力大幅提升。 支持 100 万 tokens 上下文，具备强大的阅读能力。 统一架构原生多模态支持，图文音码协同处理，并非外挂而是原生融合。 您可以通过以下链接获取更多详细信息：https://www.xiaohu.ai/c/xiaohuai/googlegemini25proexperimental
2025-04-13
怎么使用gemini
使用 Gemini 的方法如下： 1. 申请 API key：在申请您的 API key，并将其填到 api_key.ini 中。该文件位于插件根目录下，默认名字是 api_key.ini.example，初次使用需将文件后缀改为.ini。用文本编辑软件打开，在 google_api_key=后面填入您的 API key 并保存。 2. 节点选项说明： api：使用的 Api。目前只有"geminiprovision"和"googlegemini"选项。 token_limit：生成提示词的最大 token 限制。 exclude_word：需要排除的关键词。 replace_with_word：替换 exclude_word 的关键词。 3. 使用方式： 通过 API 调用（需要一定技术基础）。 在 Google AI Studio 中使用：这是一个免费的在线平台。 登录方法： 第一步：打开浏览器访问 https://aistudio.google.com/prompts/new_chat 或下载 Gemini 应用（Android 或 iOS）。 第二步：登录您的 Google 账户。 第三步：在 model 选项处选择 Gemini 2.0 Flash Experimental 模型。 操作步骤： 上传图片。 输入指令，例如“把衣服改成蓝色”或者“给狗狗加个墨镜”等清晰明确的描述。 点击运行按钮等待处理结果。若不满意可修改指令再次尝试。 此外，Gemini 还具备实时视频功能，打开完整的 Gemini Live 界面，开启视频流后，界面右下角的按钮可切换到前置摄像头，能实时分析手机摄像头捕捉到的画面并回答相关问题。但此功能会在 3 月下旬作为谷歌 One AI 高级计划的一部分，向 Gemini 高级订阅用户逐步推送。
2025-04-11
阶跃星辰、通义千问、Gemini三个视频理解模型哪个收费更便宜
以下是阶跃星辰、通义千问、Gemini 三个视频理解模型的收费情况： 阶跃星辰：输入价格为 0.005～0.015 元/千 tokens，输出价格为 0.02～0.07 元/千 tokens。 通义千问：Qwenvlplus 模型调用价格为 0.008 元/千 tokens，训练价格为 0.03 元/千 tokens。 Gemini 未提及收费信息。 综上，从已有的信息来看，通义千问的收费相对可能更便宜，但具体还需根据您的使用情况和需求来判断。
2025-04-10
飞书多维表格如何接入gemini？
要将飞书多维表格接入 Gemini，以下是一些相关的操作步骤和说明： 首先，请注意部分操作需要搭配 Google 云服务或自备 API 才可以正常练习，具体内容)。友情提示，从这一部分及以后内容，多数都会是配合代码完成的，如果您是 0 代码学习者，尝试看懂提示词，并在一些 AI 产品上尝试使用。 接下来，课程将深入探讨代码部分。为了运行这个笔记本，需要执行一些设置代码。首先，需要导入 utils 并进行身份验证，这意味着需要设置一些凭证和项目 ID，以便能够从笔记本环境调用云端的 Gemini API。项目包含在云中使用的资源和 Gemini API。这个设置过程确保了笔记本能够正确连接和使用 Gemini 模型。 对于本课程，还需要指定一个区域，即代码将在哪里执行。在这种情况下，使用的是 uscentral1。 接下来，课程将导入 Vertex AI SDK。Vertex AI SDK 可以看作是一个 Python 工具包，帮助用户与 Gemini 交互。通过这个 SDK，可以使用 Python 调用 Gemini API 并获得响应。 在笔记本中，需要初始化 Vertex SDK。这意味着需要告诉 SDK 以下信息： 1. 使用的项目 2. 想要使用 Gemini 模型的区域 3. 用户凭证 通过提供这些信息，Gemini API 就能识别用户身份，并确认用户有权使用 API。 为了使用 Gemini API，需要从 SDK 中导入 generative_model。设置完成后，需要指定具体的模型。这可以通过设置 model 变量来完成，使用刚刚导入的 generative_model，并选择特定的 Gemini 模型。在这个案例中，课程将使用 Gemini 1.0 Pro 版本。这个选择反映了对于当前任务，Gemini Pro 可能是最合适的平衡点，提供了良好的性能和效率。 此外，Gemini 不仅是单一模型，而是一个模型系列，包含不同大小的模型，每种大小都针对特定的计算限制和应用需求而定制。首先是 Gemini Ultra，这是系列中最大和最强大的模型。Gemini Pro 被设计为多功能的主力模型，平衡了模型性能和速度。还有 Gemini Flash，这是一个专门为高容量任务设计的最快、最具成本效益的模型。最后是 Gemini Nano，它是 Gemini 家族中的轻量级成员，专门设计用于直接在用户设备上运行。
2025-03-28
Gemini是用什么训练的
Gemini 是在 Google 的 TPU AI 加速器上训练的，似乎没有使用英伟达的 GPU。Google 还推出了全新的 Cloud TPU v5p 和 AI Hypercomputer 超级计算机，将加速 Gemini 的开发，使 AI 模型的训练更快。 Cloud TPU v5p 是目前 Google 最强大、可扩展和灵活的 AI 加速器。它在 TPU v4 的基础上提供了超过 2 倍的 FLOPS（浮点运算次数/秒）和 3 倍的高带宽内存（HBM）。TPU v5p 可以比前一代 TPU v4 更快地训练大型语言模型（LLM），对于嵌入密集型模型，其训练速度比 TPU v42 快 1.9 倍。TPU v5p 的可扩展性是 TPU v4 的 4 倍。 AI Hypercomputer 是一个突破性的超级计算机架构，它采用了集成的系统，包括性能优化的硬件、开放软件、领先的机器学习框架，以及灵活的消费模型。通过系统级协同设计来提高 AI 训练、调优和服务的效率和生产力。具有性能优化的计算、存储和网络硬件，建立在超大规模数据中心基础设施之上，利用高密度占地面积、液体冷却和 Jupiter 数据中心网络技术。通过开放软件使开发者能够调整、管理和动态编排 AI 训练和推理工作负载。提供了一系列灵活和动态的消费选择，包括传统的承诺使用折扣（CUD）、按需定价和现货定价，以及为 AI 工作负载量身定制的消费模型。 Gemini 模型是在一个既包含多模态又包含多语言的数据集上进行训练的。预训练数据集使用来自网络文档、书籍和代码的数据，并包括图像、音频和视频数据。使用 SentencePiece 分词器，发现在整个训练语料库的大样本上训练分词器可以改善推断的词汇，并进而提高模型性能。对所有数据集进行过滤，使用启发式规则和基于模型的分类器，还进行安全过滤以删除有害内容。从训练语料库中筛选出评估集。在训练过程中进行分阶段训练，通过增加领域相关数据的权重来改变混合组合，直到训练结束。
2025-03-26
如何本地部署大模型，如何选择是否使用云服务商
以下是关于本地部署大模型以及选择是否使用云服务商的相关内容： 本地部署大模型的主要步骤： 1. 选择合适的部署方式，包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础，可以使用开源的预训练模型如 BERT、GPT 等，也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调训练，优化模型结构和训练过程以提高性能。 5. 部署和调试模型，将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护，大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 以 SDXL 为例的本地部署步骤： 1. SDXL 的大模型分为两个部分，base+refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对生成的模型进行细化，生成细节更丰富的图片。还有一个配套的 VAE 模型，用于调节图片的画面效果和色彩。 2. 想要在 webUI 中使用 SDXL 的大模型，首先要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 将模型放入对应的文件夹中，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成之后，启动 webUI，就可以在模型中看到 SDXL 的模型。 以 LLM 大语言模型为例的本地部署步骤： 1. 下载并安装 Ollama，点击进入根据电脑系统下载 Ollama：https://ollama.com/download ，下载完成后，双击打开，点击“Install”，安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 。 2. 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）。如果是 windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。复制相关命令行，粘贴进入，点击回车，等待下载完成。 总的来说，部署大模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。
2025-04-14
本地部署
SDXL 的本地部署步骤如下： 1. 模型下载：SDXL 的大模型分为两个部分，第一部分 base + refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对文生图生成的模型进行细化以生成细节更丰富的图片。此外，还有一个配套的 VAE 模型用于调节图片的画面效果和色彩。这三个模型可通过关注公众号【白马与少年】，回复【SDXL】获取云盘下载链接。 2. 版本升级：要在 webUI 中使用 SDXL 的大模型，需在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 放置模型：将 base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。 4. 启动使用：完成上述步骤后启动 webUI，即可在模型中看到 SDXL 的模型。正常使用时，先在文生图中使用 base 模型，填写提示词和常规参数（如尺寸设置为 10241024）进行生成。然后将图片发送到图生图当中，大模型切换为“refiner”，重绘幅度开小一点再次点击生成。 5. 插件辅助：若觉得操作麻烦，可在扩展列表中搜索 refine 安装插件并重启，启用插件后可在文生图界面直接使用 refine 模型进行绘画。 另外，关于本地部署资讯问答机器人：Langchain + Ollama + RSSHub 实现 RAG，步骤包括导入依赖库（如 feedparse 用于解析 RSS 订阅源，ollama 用于在 python 程序中跑大模型，使用前需确保 ollama 服务已开启并下载好模型）、从订阅源获取内容（通过指定函数从 RSS 订阅 url 提取内容，并将长文本拆分成较小的块附带相关元数据）、为文档内容生成向量（使用文本向量模型 bgem3，从 hf 下载好模型后放置在指定路径，通过函数利用 FAISS 创建高效的向量存储），最终实现 RAG。
2025-04-13
我有秋叶整合包，然后需要怎么搭建本地部署？
以下是使用秋叶整合包搭建本地部署的步骤： 1. 下载整合包：可以从。 2. 复制启动器到下载仓库的目录下。 3. 打开启动器，可一键启动。如果有其他需求，可以在高级选项中调整配置。 显存优化根据显卡实际显存选择，不要超过当前显卡显存。xFormers 能极大地改善内存消耗和速度，建议开启。 4. 准备工作完毕后，点击一键启动即可。等待浏览器自动跳出，或是控制台弹出本地 URL 后说明启动成功。 如果报错提示缺少 Pytorch，则需要在启动器中点击配置。 5. Stable Diffusion webui 的更新比较频繁，请根据需求在“版本管理”目录下更新，同时注意插件的更新。 在 webui 的“扩展”选项卡下，可以安装插件。点击“加载自”后，目录会刷新，选择需要的插件点击右侧的 install 即可安装。安装完毕后，需要重新启动用户界面。 具体安装方法： 1. 打开整合包链接（https://pan.baidu.com/s/1hY8CKbYRAj9RrFGmswdNiA?pwd=caru ，提取码：caru），下载《1.整合包安装》，存放到电脑本地。 2. 打开保存到电脑里的文件夹。 3. 打开文件夹《1.秋叶整合包主包》，鼠标右击文件，点击“解压文件”。 4. 选择解压到 D 盘或者 E 盘（避免 C 盘被占满），点击确定。 5. 解压完成后，来到第二个文件夹，双击里面的文件，点击安装。 6. 打开刚刚解压保存的 SD 的根目录，找到启动器，鼠标右击启动器，点击“发送到”，选择桌面快捷方式，方便下次进入。 7. 双击启动器，等待更新，接着点击左边第二个“高级选项”，在显存优化里，根据自己电脑的显存选择。 8. 回到第一个一键启动，点击右下角的一键启动。出现代码页面不用管，等待 SD 的主界面在网页上自动弹出。如果出现报错，可以回到最开始的界面，在左边点击“疑难解答”，再点击右边的“开始扫描”，最后点击“修复”按钮。
2025-04-12
如何部署自己私人AI
部署自己私人 AI 可以参考以下几种方式： 通过云服务器、dify、智能微秘书来免费搭建微信机器人： 1. 在宝塔面板的终端安装相关命令，这些命令位于/root/dify/docker 目录下。 2. 检查运行的容器数量，若 nginx 容器无法运行，可能是 80 端口被占用，可将终端输出的代码粘贴给 AI 以解决。 3. 在浏览器地址栏输入公网 IP（去掉后面的:8888），进入后邮箱密码随便填，建立知识库并进行设置。 4. 选择模型，国内模型有免费额度可选，如智谱 ai，获取钥匙并复制保存，创建应用进行测试和发布。 基于 Hook 机制的微信 AI 机器人： 1. 将 Administrators 改成“wxid_dna83ykqawl222”。 2. 若有 FastGPT 或者 OpenAI 的 key，将 Ai_Lock 修改成“1”，并在 OpenAI 处添加模型 key；若没有，保持 Ai_Lock 为 0。 3. 修改后点击保存。 4. 返回 NGCbot 文件夹下，找到 main.py 文件双击运行。 5. 运行后会弹出微信登录框，正常登录微信，等待系统自动初始化必备文件。 6. 运行成功后，用“大号”给机器人发消息，拿到 wxid 并返回替换。 7. 添加完后，用小号登录，大号可对小号发号施令。 部署和训练自己的 AI 开源模型： 1. 选择合适的部署方式，如本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身资源、安全和性能需求选择。 2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础，如开源的 BERT、GPT 等，也可自行训练基础模型。 4. 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调，优化模型结构和训练过程以提高性能。 5. 部署和调试模型，将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护，重视大模型涉及的大量数据和隐私信息的安全性和合规性。 总的来说，部署和训练自己的大模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等，根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。
2025-04-11
DEEP SEEK 本地部署(Olama + ChatBox)+私有知识库(cherrystudio)
以下是关于 Deep Seek 本地部署（Olama + ChatBox）+私有知识库（cherrystudio）的相关内容： 一、使用 Docker + RAGFlow + Ollama 搭建个人/企业知识库 1. 将 Ollama 部署的模型接入 GARFlow 返回 RAGFlow 中，打开右上角设置，进入模型提供商，配置 Ollama 相关信息，基础 URL 按要求设置，设置完成后点击确定。 导入一个 embedding 模型用于文本向量化，导入成功后设置系统模型设置，然后返回知识库创建知识库。 进入数据集，导入文件（可设置文件夹当作知识库），导入完毕后解析文件，解析速度取决于本机 GPU 性能，解析好后进行检索测试，测试没问题即可进入聊天界面，助理设置可自行设置。 2. 使用 Ollama 本地部署 DeepSeek 模型 先下载 Ollama 程序，官方网址：https://ollama.com/ 。 下载默认到 C 盘（一般为固态盘，运行速度快），若想修改安装目录到 D 盘，后续会有说明。 下载完右下角会出现 Ollama 图标，打开命令行输入相关命令回车。 若显卡是英伟达 2060Super，可选择 Deepseekr1:14b 的模型，根据自身独立显卡性能下载。 下载速度慢可按 Ctrl+C 强制退出重新下载。 下载完毕后再下载一个嵌入模型，Ollama 的 bge 模型官方网址：https://ollama.com/library/bgem3 ，输入相关命令，下载好后直接退出终端。 二、Flowith 相关报道、采访、使用指南 |标题|发布账号|社媒来源|日期|链接| |||||| |ChatGPT 的对话框过时了？这款 AI 产品提供了一种很新的聊天方式|爱范儿|公众号|2024/04/29|| |Flowith：革新你的工作方式，体验节点式 AI 的超流畅生产力|程序那些事儿|公众号|2024/05/03|| |体验 Flowith：探索人机交互从传统聊天对话到画布式知识管理的转变|AI 兔子洞|公众号|2024/04/22|| |deepseek 服务器繁忙？硅基流不动？看看这篇，内含 18 个平台，可能是最全的 deepseek 方案。|佐佐的 AI 笔记|公众号|2025/02/06|| |满血版自部署 DeepSeekR1+知识库+联网搜索,体验下来可能就只剩下这家了!|字节笔记本|公众号|2025/02/12|| |DeepSeek 让 AI 圈卷出了新高度：Flowith 宣布 DeepSeek R1 现在免费提供!|字节笔记本|公众号|2025/01/27|| |ShowMeAI 周刊 No.15|上周最有讨论度的 6 个 AI 话题：自由画布类产品密集更新、多主体一致成发展趋势、AGI、开源…|ShowMeAI 研究中心|公众号|2025/01/21||
2025-04-10
本地部署大模型，如何微调建立本地知识库
以下是关于本地部署大模型并微调建立本地知识库的详细步骤： 一、使用 AnythingLLM 进行本地知识库搭建 1. 安装 AnythingLLM 安装地址：https://useanything.com/download 安装完成后进入配置页面，主要分为三步： 第一步：选择大模型 第二步：选择文本嵌入模型 第三步：选择向量数据库 2. 构建本地知识库 在 AnythingLLM 中创建自己独有的 Workspace 与其他项目数据隔离。 上传文档并在工作空间中进行文本嵌入。 选择对话模式，提供了 Chat 模式（大模型根据训练数据和上传文档数据综合给出答案）和 Query 模式（大模型仅依靠文档中的数据给出答案）。 二、张梦飞的全本地部署教程 1. 部署大语言模型 下载并安装 Ollama 点击进入，根据电脑系统，下载 Ollama：https://ollama.com/download 下载完成后，双击打开，点击“Install” 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 下载 qwen2:0.5b 模型 如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制相关命令行，粘贴进入，点击回车。 三、智能纪要中的相关内容 在智能纪要中，许键介绍了模型 API 调用方法与知识库创建，包括获取 API key 位置及调用设置，详细讲解了创建 Rag 应用（知识库）流程，如上传非结构化文件、数据解析、切分段落等操作，并回答了诸多问题。同时还涉及工作流创建、模型能力及相关问题的探讨，以及通义千问相关应用及明天课程安排交流等内容。 总之，本地部署大模型并建立本地知识库需要按照上述步骤进行操作和配置，同时不断实践和探索，以达到理想的效果。
2025-04-10