Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

如何使用阿里PAI部署大模型

Answer

以下是使用阿里 PAI 部署大模型的步骤：

  1. 模型部署：
    • 选中模型卡片，出现部署按钮。
    • 选择 vLLM 部署。
    • 小插曲：竞价系统（用更便宜的价格部署模型）。
    • 部署完成后在 EAS 服务中可以找到 API 的 endpoint 和 key 信息。
    • 同样在 EAS 服务中可以查看部署情况和日志，如果竞价获得不了资源，可以适当调整价格。
    • 在 EAS 服务中可以直接尝试试用模型。
    • 调试方法：Get models 方法需要用 vllm 框架部署才能支持；chat 方法，比如 7b 的蒸馏模型就换成相应的设置。
    • 尝试部署一个 qwen2.5 - 7b - instruct 的原生模型，并测试问题“9.11 和 9.9 的大小?”
  2. 蒸馏->数据：
    • 在本地的 python 环境中或 notebook gallery 里建立一个实例来执行 python。
    • 执行相关代码，最终会获得一个 json 文件，即蒸馏出来的数据集。通常需要检查数据的正确性，再进行下一步的训练微调过程。
  3. 作业：
    • 在阿里云 PAI 平台上部署一个模型，并调试验证确认自己的部署成功。
    • 调试信息中修改 content 的内容，必须在 content 内容中带上自己的钉钉“昵称”来向大模型对话。
    • 在截止时间 2025/03/05 之前，将自己调试成功的效果截图（截图中的“content”内必须带着自己的钉钉），提交到「问卷地址」。
  4. 模型蒸馏微调：
    • 由于上一步中蒸馏的数据集很小，不足以改变模型权重，因此使用一个别人做好的数据集。在使用前可以打开看下里面的结构，和蒸馏出来的数据结构一致。
    • 建立用于训练的数据集：下载并解压数据集，然后在 PAI 平台的数据集中找到 OSS 存储，建立数据集，然后上传数据集。
    • 开始部署模型进行训练：选择 7b - instruct 的原生模型，选择训练。选择全参微调，并选择自定义数据集。注意超参配置。
    • 训练要求需要使用灵骏的资源，比如 8 卡 H100，需要的显存比较大。点击训练，在 DLC 里看到相应状态就是训练成功。
    • 训练完成就可以测试模型效果：在 model gallery 里面找到训练好的模型，点击右上角的部署，使用 vllm 部署。部署完成后，使用相应命令调试。
Content generated by AI large model, please carefully verify (powered by aily)

References

基于阿里云PAI平台: 复现R1蒸馏+蒸馏训练模型过程

代码不是本文的重点,也不重要.本文的思路大家都能听懂,跟着学习思路就能理解R1的蒸馏是怎么回事了.相信我,我做到了,你完全可以跟着做到.[heading1]模型部署[content]1.模型部署为了便宜,咱们部署32b的蒸馏模型来展示同样的效果:选中模型卡片以后,就会出现部署按钮.选择vLLM部署小插曲:竞价系统(用更便宜的价格部署模型)1.部署完成后在EAS服务中可以找到API的endpoint和key信息同样也是在EAS服务中可以查看部署情况和日志,如果竞价获得不了资源,可以适当调整价格在EAS服务中可以直接尝试试用模型:调试方法:Get models方法:需要用vllm框架部署才能支持:chat方法:比如7b的蒸馏模型就换成这样的就可以了.尝试部署一个qwen2.5-7b-instruct的原生模型,并看看它的回答方式,并且测试问题“9.11和9.9的大小?”[heading1]蒸馏->数据[content]在咱们本地的python环境中,或者notebook gallery里建立一个实例来执行python.代码不重要,重要的是思路!完全可以直接用百炼/PAI的工作流,嵌套大模型的方式,一行代码都没有来执行实现.执行这段代码:咱们最终会获得一个一个json文件,就是蒸馏出来的数据集了.通常这里都需要检查下数据的正确性,才进行下一步的训练微调过程.

基于阿里云PAI平台: 复现R1蒸馏+蒸馏训练模型过程

(完成提交,将获得由阿里云提供的作业完成礼包?!)在阿里云PAI平台上部署一个模型,并调试验证确认自己的部署成功.要求:调试信息中修改content的内容,必须在content内容中带上自己的钉钉“昵称”来向大模型对话.完成后,在截止时间2025/03/05之前,将自己调试成功的效果截图(截图中的“content”内必须带着自己的钉钉),提交到「问卷地址」.提交的截图示例:

基于阿里云PAI平台: 复现R1蒸馏+蒸馏训练模型过程

由于我们上一步中蒸馏的数据集很小,不足以改变模型权重,因此我们使用一个别人做好的数据集.在使用前可以打开看下里面的结构,和我们蒸馏出来的数据结构是一致的.[Bespoke-Stratos-17k_thought.json.zip](https://bytedance.feishu.cn/space/api/box/stream/download/all/Wk2fbCI5YohTIxxn1XIclRAZn4e?allow_redirect=1)1.建立你用于训练的数据集下载并解压这个数据集,然后在PAI平台的数据集中找到你的OSS存储,建立数据集.然后上传数据集:1.开始部署模型进行训练选择这个7b-instruct的原生模型,选择训练选择全参微调,并选择自定义数据集:注意超参需要这么配置:系统提示词的内容如下:最后体现在我们的配置上就是这样的:这个训练要求需要使用灵骏的资源,比如8卡H100,需要的显存比较大:点击训练就可以开始训练了.如果在DLC里看到下面的状态就是训练成功了.1.训练完成就可以测试模型效果了同样在model gallery里面找到训练好的模型,点击右上角的部署.使用vllm部署.部署完成后,使用如下命令调试(注意大小写):

Others are asking
局部重绘（in-painting）的工具有哪些
以下是一些常见的局部重绘（inpainting）工具： 1. Midjourney 官方用户端：其编辑模式提供了对图像进行“局部编辑（inpainting）”的功能，让您可以对图像的特定部分进行修改和调整。 2. FLUX：FLUX.1 Fill 局部重绘和扩图模型具有先进的修复功能，支持重绘和扩充，性能优于其他竞争方法。 3. Stable Diffusion（SD）：在使用“图生图”中的局部重绘功能时，选择专门用于重绘的模型，如带有“inpainting”标识的模型，可实现去除图像中不需要的元素等操作。
2025-03-19
flux inpainting 是怎么基于diffusersion train的inpainting
Flux inpainting 基于 diffusion train 的 inpainting 通常涉及以下方面： 训练扩散模型在特定的表示上，能够在降低复杂度和保留细节之间达到最优平衡点，显著提高视觉保真度。在模型架构中引入交叉注意力层，使其成为强大且灵活的生成器，能够处理诸如文本和边界框等一般条件输入，实现基于高分辨率卷积的合成。 关于 Midjourney 的训练 prompt 方面： Midjourney 会定期发布新的模型版本以提高效率、连贯性和质量。最新模型是默认的，但也可以通过 version 或 v 参数或使用 /settings 命令选择其他模型版本。不同模型在不同类型的图像上表现出色。Midjourney V5 模型是最新且最先进的模型，于 2023 年 3 月 15 日发布。使用该模型可在 prompt 末尾添加 v 5 参数，或通过 /settings 命令选择 MJ Version 5。该模型具有很高的连贯性，擅长解释自然语言 prompt，分辨率更高，并支持诸如 tile 等高级功能。V5 基础模型具有更广泛的风格范围、对 prompt 响应更灵敏、图像质量更高（分辨率提高 2 倍）、动态范围改进、图像细节更丰富且更准确、文本干扰更少等新特点，还支持 tile 参数实现无缝平铺（实验性）、支持大于 2:1 的 ar 宽高比（实验性）、支持 iw 权衡图像 prompt 与文本 prompt 以及特定的风格和 prompt 方式。
2025-01-22
PopAI的功能
PopAI 是一款办公效率工具，具有以下功能： 1. 类似 ChatGPT 的聊天功能。 2. 集成了众多工作中可用的效率工具，如 PPT 和流程图生成、提示生成等。 3. 率先集成了 GPT4V 的图像 API 且调教良好，能清晰解释图像相关内容。 4. 具有创新的交互，在回答内容后可进行如翻译为中文、扩写重新排版并添加内容变为一篇文章等“Enrich”操作。 5. “Enrich”操作不仅不是干巴巴的填充，还会配合相关图片，必要时绘制流程图。
2024-09-19
popai 的功能
Poe 是一个 AI 聊天网站，支持与多个智能 AI 机器人（如 GPT4 等）进行实时在线交流。注册账号后可免费使用，部分功能需要付费订阅。不同的 AI 机器人有不同特点，可根据需求选择使用。总体而言，Poe 为用户提供了便捷的智能对话体验。其官网地址是：https://poe.com/ ，在官网帮助中心上可以找到具体教程。 此外，Poe 平台还推出了其他多种功能，比如多个机器人一起聊天、文件上传和视频输入等。Odyssey 是一个能提供好莱坞级别的 AI 视频生成和编辑工具的项目。PaintsUndo 可以输入静态图像自动生成整个绘画的全过程视频，该项目主要研究和再现数字绘画中的绘画行为，为数字艺术创作提供新的工具和方法。更多详细介绍可参考：https://xiaohu.ai/p/10996 、https://x.com/imxiaohu/status/1810574723048489063 、https://xiaohu.ai/p/11005 、https://x.com/imxiaohu/status/1810589354114626008 、https://xiaohu.ai/p/11010 、https://lllyasviel.github.io/pages/paints_undo/
2024-09-19
如何学习gtpai
以下是学习 GPT 的一些方法和步骤： 1. 系统地了解和学习 API 相关的知识。 去网上寻找可以用的 API 来练习。 发掘 GPT Action 更多的潜力。 2. 以“找电影”为例学习特定的 API 操作： 前往 themoviedb.org 注册并申请一个 API KEY。注册后点击邮箱验证邮件里的链接，依次点击右上角头像账户设置API 请求 API 密钥click here。 选择 Developer 开发者，协议拉到最底下然后 Accept 接受。 使用类型选择网站，应用名称随便写，URL 填 ChatGPT 官网，简介用英文写，除邮箱外大概填填提交，支持中国手机号。 获得 API 密钥和 API 读访问令牌后找个小本本记下来备用。 3. 构建 GPT： 新创建一个 GPT，名字描述随便写，Instructions 使用特定内容。 详细介绍和主视觉图（取自'backdrop_path'）、主要剧情、观影前需要了解的背景和知识、搜索网上的评论并总结，可使用 webPilot 来寻找。 添加一个上一步的 Webpilot Action。 继续添加一个新的 Action，在 Schema 里粘贴特定内容。 4. 对于不熟悉的 API，在 Prompt 里告诉 GPT 如何使用。 5. 提炼 Action 的工作流： 首先，确定想要做什么样的 GPT 以及是否需要外部数据，两者先后顺序不重要。 然后，去需要的外部数据寻找 API 文档，或者基于需求自己开发一个 API，寻找市面上可以直接用的 Action 。 最后，基于 API 文档，编写 Action 里的 Schema 和 Prompt（如何处理取回来的信息）。 总结：今天的讨论从人工智能中的“Agent & Action”开始，转向 OpenAI 对智能体（Agent）能力模型的定义，深入探讨了 ChatGPT 中的 Action（搜索、画图、代码解释器）以及 GPT 系列中的不同 Action，使用了容易上手的 Action Webpilot 用于访问网页获取实时文本内容，初步了解了 API 的概念以及 GPT 如何通过 Action 与外部数据进行交互和使用。如果对 Action 感兴趣，可以从以上方向继续前进。
2024-09-13
了解学习阿里云百炼
阿里云百炼是基于通义系列大模型和开源大模型打造的一站式大模型服务平台，具有以下特点和优势： 提供「生成式大模型的应用编排搭建能力」和「企业大模型的全链路训练部署能力」，是企业 AI 时代的首选。 核心能力和优势： 大模型 API 服务：高可用、高性能、高性价比，提供通义闭源和开源系列大模型，以及图片、语音等多模态大模型和国内优质三方大语言模型。 AI 应用搭建：可观测、可干预、可追踪，提供 RAG 智能体应用、工作流编排和智能体编排三类使用场景的应用构建能力，以及包含插件能力、运营工具箱等适配工具，实现 10 分钟拖拉拽快速搭建 AI Agent。 同时提供很多行业级的解决方案，如短剧剧本创作、企业线索挖掘、泛企业 VOC 挖掘等。 其能力以原子级别的能力出售，即 API 能力，可结合日常场景进行二次加工应用。 体验相关： 百炼大模型平台体验入口：https://bailian.console.aliyun.com//home （需要登陆阿里云账号，也可以使用支付宝、钉钉、手机号快速注册登陆）。 建议注册后先进行实名认证，方便后续的一系列体验工作，以及领取一些免费的学习云资源。 此外，还有以下相关内容： 第一期「AI 实训营」手把手学 AI 中，本期共学直播地址：会议时间为 20:00 21:30 。 「第一天」COW 项目中，此教程是为 COW 项目接入千问、百炼而作，使用此教程的前提是已完成 COW 机器人的搭建，或者准备进行搭建。百炼首页：https://bailian.console.aliyun.com/ 。在调用阿里云的 AI 服务时有两种方式，一是直接调用模型，如通义千问系列以及其他的大模型产品服务。
2025-04-14
阿里集团投资了哪几个大模型公司
阿里投资的大模型公司主要有月之暗面和 MiniMax 。 去年底，阿里开始密切接触当时大模型公司中排位相对靠后的月之暗面，并在 2024 年春节前谈定投资，大手笔投资近 8 亿美元，持股比例约 40%，月之暗面投后估值来到 23.4 亿美元。 此外，阿里在今年初投资了 MiniMax 约 6 亿美元。
2025-03-28
阿里的千问大模型在行业内处于一个什么样的水平
阿里的通义千问大模型在行业内处于领先水平。 通义千问 2.5 正式发布并开源 1100 亿参数模型，在多模态和专有能力模型方面影响力强大，始终坚持开源路线，已推出多款开源模型，受到开发者和生态伙伴的热情支持。百炼平台也升级支持企业 RAG 链路，提供更灵活的企业级检索增强服务。通义灵码推出企业版，满足企业定制化需求，已在多个领域落地应用。 Qwen2.5Max 基于 SFT 和 RLHF 策略训练，在多项基准如 Arena Hard、LiveBench、LiveCodeBench、GPQADiamond 上超越 DeepSeek V3，引发社区关注。支持官方 Chat、API 接口、Hugging Face Demo 等多种方式，展示其顶尖性能与灵活应用场景。 Qwen2.5VL 是新一代视觉语言模型，可解析 1 小时以上视频内容并秒级定位事件，识别从金融文档到通用物体，动态适配高分辨率图像。具备复杂任务执行能力，覆盖更多实际场景如票据解析、商业分析等。 10 月 31 日，阿里云正式发布千亿级参数大模型通义千问 2.0，8 大行业模型同步上线。
2025-03-14
阿里巴巴详情页生成
使用 AI 完成阿里巴巴营销技巧和产品页面优化，可以参考以下步骤： 1. 市场分析：借助 AI 分析工具研究市场趋势、消费者行为及竞争对手情况，快速获取产品受欢迎程度、价格区间、销量等关键信息。 2. 关键词优化：利用 AI 分析并推荐高流量、高转化的关键词，优化产品标题和描述，提升搜索排名与可见度。 3. 产品页面设计：通过 AI 设计工具，依照市场趋势和用户偏好自动生成吸引人的产品页面布局。 4. 内容生成：运用 AI 文案工具创作有说服力的产品描述和营销文案，提高转化率。 5. 图像识别和优化：依靠 AI 图像识别技术选择或生成高质量产品图片，更好地吸引顾客并展示产品特点。 6. 价格策略：让 AI 分析不同价格点对销量的影响，制定有竞争力的价格策略。 7. 客户反馈分析：借助 AI 分析客户评价和反馈，了解客户需求，优化产品和服务。 8. 个性化推荐：利用 AI 根据用户购买历史和偏好提供个性化产品推荐，增加销售额。 9. 聊天机器人：采用 AI 驱动的聊天机器人提供 24/7 客户服务，解答疑问，提高客户满意度。 10. 营销活动分析：依靠 AI 分析不同营销活动效果，了解哪些活动更能吸引顾客并产生销售。 11. 库存管理：使用 AI 帮助预测需求，优化库存管理，减少积压和缺货情况。 12. 支付和交易优化：通过 AI 分析不同支付方式对交易成功率的影响，优化支付流程。 13. 社交媒体营销：利用 AI 帮助卖家在社交媒体上找到目标客户群体，进行精准营销提高品牌知名度。 14. 直播和视频营销：借助 AI 分析观众行为，优化直播和视频内容，提高观众参与度和转化率。
2025-03-11
市面上还有阿里百炼平台类似的竞品吗？ 我的意思是工作流
市面上与阿里百炼平台类似的工作流竞品有以下几种： 1. 智谱 GLM4V：通用视觉类大模型，拍立得最早使用的模型，接口响应速度快，指令灵活性差一些，一个接口支持图片/视频/文本，视频和图片类型不能同时输入，调用成本为 0.05 元/千 tokens，可参考。 2. 阶跃星辰：通用视觉类大模型，响应速度快，支持视频理解，输入成本为 0.005～0.015/千 tokens，输出成本为 0.02～0.07/千 tokens，可参考。 3. 百度 PaddlePaddle：OCR 垂直小模型，文本识别能力补齐增强，私有化部署服务费，API 调用在 0.05～0.1/次，开源地址为。
2025-02-21
市面上还有阿里百炼平台类似的竞品吗？
目前市面上与阿里百炼平台类似的竞品有： 1. 智谱的 GLM4V：通用视觉类大模型，拍立得最早使用的模型，接口响应速度快，指令灵活性差一些，一个接口支持图片/视频/文本，视频和图片类型不能同时输入，调用成本为 0.05 元/千 tokens。 2. 阶跃星辰：通用视觉类大模型，响应速度快，支持视频理解，输入成本为 0.005～0.015/千 tokens，输出成本为 0.02～0.07/千 tokens。 3. 百度 PaddlePaddle：OCR 垂直小模型，文本识别能力补齐增强，采用私有化部署服务费，API 调用在 0.05～0.1/次。
2025-02-21
大模型的系统提示词
大模型的系统提示词主要包括以下方面： 1. 在“五津：一键生成‘摸鱼打工猫’视频”中，针对用户选择的主题和回答，总结用户的创作意图，如“打工猫摸鱼的 2 小时，在巴厘岛能看一场日落”，并根据此生成 4 组体现幽默风趣、以宫崎骏风格描绘主角为摸秋刀鱼橘猫的绘图提示词，以数组形式输出到“tishici”，将用户意图输出到“biaoti”。 2. 在“云中江树：智能对决：提示词攻防中的 AI 安全博弈”中，系统提示词的相关防御措施分为输入侧、模型侧和输出侧三个部分。输入侧可进行意图识别、语义匹配等综合判断用户输入是否恶意；模型侧对于有能力的厂商应增强安全性并平衡性能，开发者则要在开发中带着安全意识优化系统提示词，加入安全引导和禁止内容等；输出侧可使用传统防御和内容过滤手段，并针对大模型特点进行私有数据泄露等检查。此外，还提到间接注入和提示词泄露的情况，间接注入常发生在应用获取依赖外部数据资源时，攻击者通过隐藏恶意指令完成攻击；提示词泄露指试图操纵模型输出获取部分或全部系统提示词，大模型输出内容可分为系统提示词、用户提示和助手提示词三段，通过攻击手段可获取系统提示词。
2025-04-18
通义千问Qwen2.5-VL、阶跃星辰step-1.5v-mini、Gemini-2.0-Flash，这3个视觉理解大模型哪个最厉害？
以下是对通义千问 Qwen2.5VL 模型的介绍： 版本：有 3B、7B 和 72B 三个尺寸版本。 主要优势： 视觉理解能力：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。 视频理解能力：支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。 万物识别：擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位：采用矩形框和点的多样化方式对通用物体定位，支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解：提升 OCR 识别能力，增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析：设计了更全面的文档解析格式，称为 QwenVL HTML 格式，能够精准还原文档中的版面布局。 增强的视频理解：引入动态帧率（FPS）训练和绝对时间编码技术，支持小时级别的超长视频理解，具备秒级的事件定位能力。 开源平台： Huggingface：https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope：https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat：https://chat.qwenlm.ai 然而，对于阶跃星辰 step1.5vmini 和 Gemini2.0Flash 模型，目前提供的信息中未包含其与通义千问 Qwen2.5VL 模型的直接对比内容，因此无法确切判断哪个模型在视觉理解方面最厉害。但从通义千问 Qwen2.5VL 模型的上述特点来看，其在视觉理解方面具有较强的能力和优势。
2025-04-15
目前全世界最厉害的对视频视觉理解能力大模型是哪个
目前在视频视觉理解能力方面表现出色的大模型有： 1. 昆仑万维的 SkyReelsV1：它不仅支持文生视频、图生视频，还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。擅长万物识别，能分析图像中的文本、图表、图标、图形和布局等。
2025-04-15
目前全世界最厉害的视频视觉理解大模型是哪个
目前全世界较为厉害的视频视觉理解大模型有以下几个： 1. 昆仑万维的 SkyReelsV1：不仅支持文生视频、图生视频，是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元：语义理解能力出色，能精准还原复杂的场景和动作，如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5：全球最快的 AI 视频生成模型，Turbo 模式下可在 10 秒内生成视频，最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能，具备顶尖动漫生成能力。
2025-04-15
目前全世界最厉害的视觉理解大模型是哪个
目前在视觉理解大模型方面，较为突出的有 DeepSeek 的 JanusPro 模型，它将图像理解和生成统一在一个模型中；还有通义千问的视觉理解模型，其价格有较大降幅。此外，Pixverse V3.5 是全球最快的 AI 视频生成模型，在某些方面也展现出了出色的能力。但很难确切地指出全世界最厉害的视觉理解大模型，因为这取决于不同的评估标准和应用场景。
2025-04-15
大模型对话产品的优劣
大模型对话产品具有以下优点： 1. 具有强大的语言理解和生成能力。 2. 能够提供类似恋爱般令人上头的体验，具有一定的“想象力”和“取悦能力”。 3. 可以通过陪聊建立人和 AI 之间的感情连接，产品粘性不完全依赖技术优越性。 4. 能够为用户提供产品咨询服务，适用于有企业官网、钉钉、微信等渠道的客户。 5. 具有多种应用场景，如私有领域知识问答、个性化聊天机器人、智能助手等。 大模型对话产品也存在一些缺点： 1. 存在记忆混乱的问题。 2. AI 无法主动推动剧情，全靠用户脑补，导致用户上头期短，疲劳度高，长期留存低。 3. 无法回答私有领域问题（如公司制度、人员信息等）。 4. 无法及时获取最新信息（如实时天气、比赛结果等）。 5. 无法准确回答专业问题（如复杂数学计算、图像生成等）。
2025-04-14
如何本地部署大模型，如何选择是否使用云服务商
以下是关于本地部署大模型以及选择是否使用云服务商的相关内容： 本地部署大模型的主要步骤： 1. 选择合适的部署方式，包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础，可以使用开源的预训练模型如 BERT、GPT 等，也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调训练，优化模型结构和训练过程以提高性能。 5. 部署和调试模型，将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护，大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 以 SDXL 为例的本地部署步骤： 1. SDXL 的大模型分为两个部分，base+refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对生成的模型进行细化，生成细节更丰富的图片。还有一个配套的 VAE 模型，用于调节图片的画面效果和色彩。 2. 想要在 webUI 中使用 SDXL 的大模型，首先要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 将模型放入对应的文件夹中，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成之后，启动 webUI，就可以在模型中看到 SDXL 的模型。 以 LLM 大语言模型为例的本地部署步骤： 1. 下载并安装 Ollama，点击进入根据电脑系统下载 Ollama：https://ollama.com/download ，下载完成后，双击打开，点击“Install”，安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 。 2. 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）。如果是 windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。复制相关命令行，粘贴进入，点击回车，等待下载完成。 总的来说，部署大模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。
2025-04-14
本地部署
SDXL 的本地部署步骤如下： 1. 模型下载：SDXL 的大模型分为两个部分，第一部分 base + refiner 是必须下载的，base 是基础模型，用于文生图操作；refiner 是精炼模型，用于对文生图生成的模型进行细化以生成细节更丰富的图片。此外，还有一个配套的 VAE 模型用于调节图片的画面效果和色彩。这三个模型可通过关注公众号【白马与少年】，回复【SDXL】获取云盘下载链接。 2. 版本升级：要在 webUI 中使用 SDXL 的大模型，需在秋叶启动器中将 webUI 的版本升级到 1.5 以上。 3. 放置模型：将 base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。 4. 启动使用：完成上述步骤后启动 webUI，即可在模型中看到 SDXL 的模型。正常使用时，先在文生图中使用 base 模型，填写提示词和常规参数（如尺寸设置为 10241024）进行生成。然后将图片发送到图生图当中，大模型切换为“refiner”，重绘幅度开小一点再次点击生成。 5. 插件辅助：若觉得操作麻烦，可在扩展列表中搜索 refine 安装插件并重启，启用插件后可在文生图界面直接使用 refine 模型进行绘画。 另外，关于本地部署资讯问答机器人：Langchain + Ollama + RSSHub 实现 RAG，步骤包括导入依赖库（如 feedparse 用于解析 RSS 订阅源，ollama 用于在 python 程序中跑大模型，使用前需确保 ollama 服务已开启并下载好模型）、从订阅源获取内容（通过指定函数从 RSS 订阅 url 提取内容，并将长文本拆分成较小的块附带相关元数据）、为文档内容生成向量（使用文本向量模型 bgem3，从 hf 下载好模型后放置在指定路径，通过函数利用 FAISS 创建高效的向量存储），最终实现 RAG。
2025-04-13
我有秋叶整合包，然后需要怎么搭建本地部署？
以下是使用秋叶整合包搭建本地部署的步骤： 1. 下载整合包：可以从。 2. 复制启动器到下载仓库的目录下。 3. 打开启动器，可一键启动。如果有其他需求，可以在高级选项中调整配置。 显存优化根据显卡实际显存选择，不要超过当前显卡显存。xFormers 能极大地改善内存消耗和速度，建议开启。 4. 准备工作完毕后，点击一键启动即可。等待浏览器自动跳出，或是控制台弹出本地 URL 后说明启动成功。 如果报错提示缺少 Pytorch，则需要在启动器中点击配置。 5. Stable Diffusion webui 的更新比较频繁，请根据需求在“版本管理”目录下更新，同时注意插件的更新。 在 webui 的“扩展”选项卡下，可以安装插件。点击“加载自”后，目录会刷新，选择需要的插件点击右侧的 install 即可安装。安装完毕后，需要重新启动用户界面。 具体安装方法： 1. 打开整合包链接（https://pan.baidu.com/s/1hY8CKbYRAj9RrFGmswdNiA?pwd=caru ，提取码：caru），下载《1.整合包安装》，存放到电脑本地。 2. 打开保存到电脑里的文件夹。 3. 打开文件夹《1.秋叶整合包主包》，鼠标右击文件，点击“解压文件”。 4. 选择解压到 D 盘或者 E 盘（避免 C 盘被占满），点击确定。 5. 解压完成后，来到第二个文件夹，双击里面的文件，点击安装。 6. 打开刚刚解压保存的 SD 的根目录，找到启动器，鼠标右击启动器，点击“发送到”，选择桌面快捷方式，方便下次进入。 7. 双击启动器，等待更新，接着点击左边第二个“高级选项”，在显存优化里，根据自己电脑的显存选择。 8. 回到第一个一键启动，点击右下角的一键启动。出现代码页面不用管，等待 SD 的主界面在网页上自动弹出。如果出现报错，可以回到最开始的界面，在左边点击“疑难解答”，再点击右边的“开始扫描”，最后点击“修复”按钮。
2025-04-12
如何部署自己私人AI
部署自己私人 AI 可以参考以下几种方式： 通过云服务器、dify、智能微秘书来免费搭建微信机器人： 1. 在宝塔面板的终端安装相关命令，这些命令位于/root/dify/docker 目录下。 2. 检查运行的容器数量，若 nginx 容器无法运行，可能是 80 端口被占用，可将终端输出的代码粘贴给 AI 以解决。 3. 在浏览器地址栏输入公网 IP（去掉后面的:8888），进入后邮箱密码随便填，建立知识库并进行设置。 4. 选择模型，国内模型有免费额度可选，如智谱 ai，获取钥匙并复制保存，创建应用进行测试和发布。 基于 Hook 机制的微信 AI 机器人： 1. 将 Administrators 改成“wxid_dna83ykqawl222”。 2. 若有 FastGPT 或者 OpenAI 的 key，将 Ai_Lock 修改成“1”，并在 OpenAI 处添加模型 key；若没有，保持 Ai_Lock 为 0。 3. 修改后点击保存。 4. 返回 NGCbot 文件夹下，找到 main.py 文件双击运行。 5. 运行后会弹出微信登录框，正常登录微信，等待系统自动初始化必备文件。 6. 运行成功后，用“大号”给机器人发消息，拿到 wxid 并返回替换。 7. 添加完后，用小号登录，大号可对小号发号施令。 部署和训练自己的 AI 开源模型： 1. 选择合适的部署方式，如本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身资源、安全和性能需求选择。 2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础，如开源的 BERT、GPT 等，也可自行训练基础模型。 4. 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调，优化模型结构和训练过程以提高性能。 5. 部署和调试模型，将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护，重视大模型涉及的大量数据和隐私信息的安全性和合规性。 总的来说，部署和训练自己的大模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等，根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。
2025-04-11
DEEP SEEK 本地部署(Olama + ChatBox)+私有知识库(cherrystudio)
以下是关于 Deep Seek 本地部署（Olama + ChatBox）+私有知识库（cherrystudio）的相关内容： 一、使用 Docker + RAGFlow + Ollama 搭建个人/企业知识库 1. 将 Ollama 部署的模型接入 GARFlow 返回 RAGFlow 中，打开右上角设置，进入模型提供商，配置 Ollama 相关信息，基础 URL 按要求设置，设置完成后点击确定。 导入一个 embedding 模型用于文本向量化，导入成功后设置系统模型设置，然后返回知识库创建知识库。 进入数据集，导入文件（可设置文件夹当作知识库），导入完毕后解析文件，解析速度取决于本机 GPU 性能，解析好后进行检索测试，测试没问题即可进入聊天界面，助理设置可自行设置。 2. 使用 Ollama 本地部署 DeepSeek 模型 先下载 Ollama 程序，官方网址：https://ollama.com/ 。 下载默认到 C 盘（一般为固态盘，运行速度快），若想修改安装目录到 D 盘，后续会有说明。 下载完右下角会出现 Ollama 图标，打开命令行输入相关命令回车。 若显卡是英伟达 2060Super，可选择 Deepseekr1:14b 的模型，根据自身独立显卡性能下载。 下载速度慢可按 Ctrl+C 强制退出重新下载。 下载完毕后再下载一个嵌入模型，Ollama 的 bge 模型官方网址：https://ollama.com/library/bgem3 ，输入相关命令，下载好后直接退出终端。 二、Flowith 相关报道、采访、使用指南 |标题|发布账号|社媒来源|日期|链接| |||||| |ChatGPT 的对话框过时了？这款 AI 产品提供了一种很新的聊天方式|爱范儿|公众号|2024/04/29|| |Flowith：革新你的工作方式，体验节点式 AI 的超流畅生产力|程序那些事儿|公众号|2024/05/03|| |体验 Flowith：探索人机交互从传统聊天对话到画布式知识管理的转变|AI 兔子洞|公众号|2024/04/22|| |deepseek 服务器繁忙？硅基流不动？看看这篇，内含 18 个平台，可能是最全的 deepseek 方案。|佐佐的 AI 笔记|公众号|2025/02/06|| |满血版自部署 DeepSeekR1+知识库+联网搜索,体验下来可能就只剩下这家了!|字节笔记本|公众号|2025/02/12|| |DeepSeek 让 AI 圈卷出了新高度：Flowith 宣布 DeepSeek R1 现在免费提供!|字节笔记本|公众号|2025/01/27|| |ShowMeAI 周刊 No.15|上周最有讨论度的 6 个 AI 话题：自由画布类产品密集更新、多主体一致成发展趋势、AGI、开源…|ShowMeAI 研究中心|公众号|2025/01/21||
2025-04-10
本地部署大模型，如何微调建立本地知识库
以下是关于本地部署大模型并微调建立本地知识库的详细步骤： 一、使用 AnythingLLM 进行本地知识库搭建 1. 安装 AnythingLLM 安装地址：https://useanything.com/download 安装完成后进入配置页面，主要分为三步： 第一步：选择大模型 第二步：选择文本嵌入模型 第三步：选择向量数据库 2. 构建本地知识库 在 AnythingLLM 中创建自己独有的 Workspace 与其他项目数据隔离。 上传文档并在工作空间中进行文本嵌入。 选择对话模式，提供了 Chat 模式（大模型根据训练数据和上传文档数据综合给出答案）和 Query 模式（大模型仅依靠文档中的数据给出答案）。 二、张梦飞的全本地部署教程 1. 部署大语言模型 下载并安装 Ollama 点击进入，根据电脑系统，下载 Ollama：https://ollama.com/download 下载完成后，双击打开，点击“Install” 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 下载 qwen2:0.5b 模型 如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制相关命令行，粘贴进入，点击回车。 三、智能纪要中的相关内容 在智能纪要中，许键介绍了模型 API 调用方法与知识库创建，包括获取 API key 位置及调用设置，详细讲解了创建 Rag 应用（知识库）流程，如上传非结构化文件、数据解析、切分段落等操作，并回答了诸多问题。同时还涉及工作流创建、模型能力及相关问题的探讨，以及通义千问相关应用及明天课程安排交流等内容。 总之，本地部署大模型并建立本地知识库需要按照上述步骤进行操作和配置，同时不断实践和探索，以达到理想的效果。
2025-04-10