Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

sd3大模型的教程

Answer

以下是关于 SD3 大模型的一些教程资源：

另外，关于 SD3 的一些说明：

  • SD3 已开放下载（并非开源，是收费的）。
    • 基础模型包括：主模型“sd3_medium”，文本编码器“clip_g”“clip_l”“t5xxl_fp16/t5xxl_fp8_e4m3fn”。在 ComfyUI 中使用时需分别通过模型加载器和 CLIP 加载器加载，“t5xxl”是非必要项。
    • 融合了文本编码器的模型有 2 个：无 T5 的“sd3_medium_incl_clips = sd3_medium + clip_g + clip_l”，有 T5 的“sd3_medium_incl_clips_t5xxlfp8 = sd3_medium + clip_g + clip_l + t5xxl_fp16/t5xxl_fp8_e4m3fn”。在 ComfyUI 中使用时直接用模型加载器加载主模型即可，无需 CLIP 加载器（如同之前的 SD1.5 或 SDXL 的基础工作流）。下载地址（huggingface 比较慢，多放几个百度云盘）。
Content generated by AI large model, please carefully verify (powered by aily)

References

工具教程：Kolors 开源模型

|内容标题|作者|类型|链接|备注|<br>|-|-|-|-|-|<br>|【AI艺境】ComfyUI快手Kolors模型基础使用工作流全套模型网盘分享|极点AI|教学视频|[【AI艺境】ComfyUI快手Kolors模型基础使用工作流全套模型网盘分享_哔哩哔哩_bilibili](https://www.bilibili.com/video/BV1hJ4m1M7q8/?spm_id_from=333.337.search-card.all.click&vd_source=d88abcf36fb03119aeaff6289e276995)|商用工作流请自行辨别|<br>|拳打SD3脚踢MidjourneyV6？某手开源的可图Kolors到底是不是真的强，内附Comfyu部署教程|淼淼爸的AI笔记|评测视频|[拳打SD3脚踢MidjourneyV6？某手开源的可图Kolors到底是不是真的强，内附Comfyu部署教程_哔哩哔哩_bilibili](https://www.bilibili.com/video/BV1nb421n71j/?spm_id_from=333.337.search-card.all.click&vd_source=d88abcf36fb03119aeaff6289e276995)||<br>|国产超牛的开源大模型可图kolors|大桶子AI|评测视频|[国产超牛的开源大模型可图kolors_哔哩哔哩_bilibili](https://www.bilibili.com/video/BV1MZ421T79S/?

SD3-stable diffusion3已开源（建议改成“已开放下载”，并没开源，是收费的）

1.基础模型1+3：（上图）主模型：sd3_medium文本编码器：clip_g、clip_l、t5xxl_fp16/t5xxl_fp8_e4m3fn使用：在ComfyUI中使用时需分别通过模型加载器和CLIP加载器加载，t5xxl是非必要项1.融合了文本编码器的模型2个：（下图）无T5：sd3_medium_incl_clips = sd3_medium + clip_g + clip_l有T5：sd3_medium_incl_clips_t5xxlfp8 = sd3_medium + clip_g + clip_l + t5xxl_fp16/t5xxl_fp8_e4m3fn使用：在ComfyUI中使用时直接用模型加载器加载主模型即可，无需CLIP加载器（如同之前的SD1.5或SDXL的基础工作流）

SD3-stable diffusion3已开源

1.基础模型1+3：（上图）主模型：sd3_medium文本编码器：clip_g、clip_l、t5xxl_fp16/t5xxl_fp8_e4m3fn使用：在ComfyUI中使用时需分别通过模型加载器和CLIP加载器加载，t5xxl是非必要项1.融合了文本编码器的模型2个：（下图）无T5：sd3_medium_incl_clips = sd3_medium + clip_g + clip_l有T5：sd3_medium_incl_clips_t5xxlfp8 = sd3_medium + clip_g + clip_l + t5xxl_fp16/t5xxl_fp8_e4m3fn使用：在ComfyUI中使用时直接用模型加载器加载主模型即可，无需CLIP加载器（如同之前的SD1.5或SDXL的基础工作流）

Others are asking
flux和sd3.5出图的区别
Flux 和 SD3.5 出图存在以下区别： 1. 模型性质：Flux.1 有多种版本，如开源不可商用的 FLUX.1等。而 SD3.5 未提及相关性质。 2. 训练参数：Flux.1 的训练参数高达 120 亿，远超 SD3 Medium 的 20 亿。 3. 图像质量和提示词遵循能力：Flux.1 在图像质量、提示词跟随、尺寸适应、排版和输出多样性等方面超越了一些流行模型，如 Midjourney v6.0、DALL·E 3和 SD3Ultra 等。 4. 应用场景：Flux.1 可以在 Replicate 或 fal.ai 等平台上试用，支持在 Replicate、fal.ai 和 Comfy UI 等平台上使用，并且支持用户根据自己的数据集进行微调以生成特定风格或主题的图像。而 SD3.5 未提及相关应用场景。 5. 本地运行：文中尝试了在没有 N 卡，不使用复杂工作流搭建工具的 Mac Mini M1 上运行 FLUX.1，以及在边缘设备 Raspberry PI5B 上运行的情况，未提及 SD3.5 的相关内容。 6. 模型安装部署：对于 Flux.1，不同版本的模型下载后放置的位置不同，如 FLUX.1应放在 ComfyUI/models/unet/文件夹中。而 SD3.5 未提及相关安装部署内容。 7. 显存处理：对于 Flux.1，如果爆显存，“UNET 加载器”节点中的 weight_dtype 可以控制模型中权重使用的数据类型，设置为 fp8 可降低显存使用量，但可能会稍微降低质量。而 SD3.5 未提及相关显存处理内容。 8. 提示词使用：在训练 Flux 时，应尽量使用长提示词或自然语言，避免使用短提示词，因为 T5 自带 50%的删标。而 SD3.5 未提及相关提示词使用内容。
2024-12-20
deepseek官方教程
以下是关于 DeepSeek 的官方教程相关信息： 火山方舟 DeepSeek 申请免费额度教程，包含多种 API 使用方式，如飞书多维表格调用、Coze 智能体调用、浏览器插件调用。可以使用邀请码 D3H5G9QA，通过邀请链接 https://www.volcengine.com/activity/deepseek?utm_term=202502dsinvite&ac=DSASUQY5&rc=D3H5G9QA 邀请可拿 3000 万 tokens，畅享 671B DeepSeek R1，活动截止至北京时间 20250218 23:59:59。同时，火山方舟大模型服务平台的模型服务计费文档有更新，DeepSeekR1、V3 模型分别提供了 50 万免费额度和 API 半价活动。 有关于一线教师的 AI 需求与高效工具推荐，如让模型创作诗歌、生成宣传标语、提示库（https://apidocs.deepseek.com/zhcn/promptlibrary）、代码解释、内容分类、角色扮演（自定义人设）、散文写作、文案大纲生成、模型提示词生成等。 2 月 14 日的社区动态中，有《突破 DeepSeek R1 能力天花板，火山引擎扣子+飞书一站式企业解决方案》《羊毛快薅|字节火山上线了 DeepSeek 系列模型并悄悄更改了模型服务价格...》等内容，还附上了飞书多维表格、Coze 的接入使用方法等。此外，还有关于 DeepSeek 关键 9 篇论文及创新点的讲解，以及 DeepSeek 官方发布的 R1 模型推荐设置。
2025-04-15
Mcp教程
以下是关于 MCP 教程的相关内容： 资源链接： 什么是 MCP 以及为什么要用它： Model Context Protocol（模型上下文协议），简称 MCP，是由 Anthropic 公司提出的一个开放标准，旨在解决 AI 模型与外部数据源和工具之间的连接问题。 MCP 就像是 AI 世界的“USBC 接口”，它提供了一种标准化的方式，让 AI 应用能够轻松连接到各种数据源和工具，不需要为每个新连接重新开发接口。 MCP 解决的主要问题包括： 碎片化集成：以前每个 AI 应用都需要单独开发与各种数据源的连接。 重复工作：不同团队重复构建相似的集成方案。 “N 乘 M 问题”：当有 N 个 AI 客户端需要连接 M 个数据源时，可能需要 N×M 个自定义集成。 希望这篇教程能帮助您了解 MCP 的基础知识，并开始构建自己的 MCP 服务器！随着实践的深入，您会发现 MCP 为 AI 应用与数据源及工具的集成提供了简单而强大的解决方案。 本篇内容由 Genspark 制作 https://www.genspark.ai/autopilotagent_viewer?id=c10e49b3228d4f65be347ab34777aaf8
2025-04-15
coze 教程
以下是为您提供的 Coze 教程相关信息： 一泽 Eze 的教程：可能是全网最好的 Coze 教程之一，一次性带您入门 Coze 工作流。即使是非技术出身的爱好者也能上手跟学，一站式学会 AI Agent 从设计到落地的全流程方法论。阅读指南：长文预警，请视情况收藏保存。核心看点包括通过实际案例逐步演示用 Coze 工作流构建能稳定按模板要求生成结构化内容的 AI Agent、开源 AI Agent 的设计到落地的全过程思路、10+项常用的 Coze 工作流的配置细节、常见问题与解决方法。适合人群为玩过 AI 对话产品的一般用户，以及对 AI 应用开发平台（如 Coze、Dify）和 AI Agent 工作流配置感兴趣的爱好者。注：本文不单独讲解案例所涉及 Prompt 的撰写方法。文末「拓展阅读」中，附有相关 Prompt 通用入门教程、Coze 其他使用技巧等内容，以供前置或拓展学习。 其他相关基础教程： 大圣：胎教级教程：万字长文带你使用 Coze 打造企业级知识库 （https://waytoagi.feishu.cn/wiki/CT3UwDM8OiVmOOkohPbcV3JCndb） 大聪明：保姆级教程：Coze 打工你躺平 （https://waytoagi.feishu.cn/wiki/PQoUwXwpvi2ex7kJOrIcnQTCnYb） 安仔：Coze 全方位入门剖析免费打造自己的 AI Agent （https://waytoagi.feishu.cn/wiki/SaCFwcw9xi2qcrkmSxscxTxLnxb） 基础教程：Coze“图像流”抢先体验 （https://waytoagi.feishu.cn/wiki/AHs2whOS2izNJakGA1NcD5BEnuf） YoYo：Coze 图像流小技巧：探索视觉艺术的隐藏宝藏 （https://waytoagi.feishu.cn/wiki/CTajwJnyZizxlJk8a4AcJYywnfe） 【智能体】让 Coze 智能体机器人连上微信和微信群详细配置文档 （https://waytoagi.feishu.cn/wiki/ExHMwCDZ7i6NA7knCWucFvFvnvJ）
2025-04-13
如何使用MCP？提供教程
以下是关于如何使用 MCP 的详细教程： 前置准备工作： 任选一个客户端软件进行配置，大致分为四步： 1. 填入大模型 API 密钥。 2. 找到 MCP 配置界面。 3. 填入 MCP Server 对应的 json 脚本。 4. 使用 MCP。 不同客户端软件的配置方法： 1. Cherry Studio（推荐）： 版本：2025 年 4 月发布的 1.1.17。 配置大模型 API：填入之前准备好的 AiHubMix 的 API 密钥。 配置 MCP：例如，图中填写的就是 Playwright 的 MCP Server 和百度地图的 MCP Server。 使用 MCP。 2. Cursor（推荐）： 配置大模型 API：如果 Cursor Pro 在免费试用期，这一步可以不做；如果不在免费试用期，最好的办法是氪金，也可以试试填入之前准备好的 AiHubMix 的 API 密钥。 配置 MCP Server：填入 MCP Server 的 json，保存。 回到 Cursor 的 MCP 配置页面，等待几秒钟，多点几次蓝色框里的按钮，直到绿灯亮起，并显示出所有 MCP 工具。 使用 MCP：Ctrl+Shift+L 新建对话，将模式设置为 Agent。 3. Claude Desktop： 配置 MCP Server：用文本编辑器（VSCode、Sublime Text 等）打开 claude_desktop_config.json 文件，填入 MCP Server 对应的 json 文件，保存。 重启 Claude Desktop。 查看 MCP Server 连接状态。 使用 MCP。 MCP 的好处： 1. 简化开发：一次整合，多次复用，不再重复开发。 2. 灵活性强：轻松切换 AI 模型或工具，无需复杂的重新配置。 3. 实时互动：长连接保证数据实时更新。 4. 安全可靠：内置标准化安全和权限控制。 5. 扩展性强：AI 系统扩展时，只需连接新的 MCP 服务器。 传统 API 更适合的场景： 1. 需要细粒度控制、功能严格限制。 2. 更偏好紧耦合以提升性能。 3. 希望最大化交互的可预测性。 快速集成 MCP 的步骤： 1. 定义能力：明确您的 MCP 服务器提供哪些功能。 2. 实现 MCP 层：按照协议标准进行开发。 3. 选择通信方式：本地连接（标准输入输出）或远程连接（如 WebSockets）。 4. 创建资源/工具：开发或连接您的数据源和服务。 5. 建立客户端连接：与 MCP 服务器建立安全稳定的连接。 MCP 与 API 的比较： MCP 与传统 API 之间的主要区别在于： 1. 单一协议：MCP 充当标准化的“连接器”，因此集成一个 MCP 意味着可能访问多个工具和服务，而不仅仅是一个。 2. 动态发现：MCP 允许 AI 模型动态发现可用工具并与之交互，而无需对每个集成进行硬编码知识。 3. 双向通信：MCP 支持持久的实时双向通信 类似于 WebSockets。AI 模型既可以检索信息，也可以动态触发操作。 以 Cursor 驱动 blender 自动化建模的 MCP 项目为例： 首先，在 github 上找到项目说明（https://github.com/ahujasid/blendermcp）。以 Mac 安装为例，首先要安装一个 uv 包（如果不懂，就直接新建一个项目文件夹后，将相关需求丢给 AI）。显示 uv 安装完毕后（初次使用可能需要安装一系列的环境，只要一路让 AI 安装就可以了），还是找到点击界面右上角的小齿轮图标。找到 MCP 模块 Add new global MCP server，将相关内容粘贴进去。退回 MCP 界面时，就会发现已经连接上了这个 blender 服务器，并且增加了很多具体功能。
2025-04-13
AI视频教程
以下是为您提供的 AI 视频教程相关内容： AI 让古画动起来的教程： 1. 对于简单的图，找原图直接写提示词即可。若碰到多人多活动的复杂图，需把长图分多个模块，比如将一张图分成 4 个模块。 2. 智能抠图，用工具把要动的内容去除掉，用 AI 生成图片部分。若有水印，可以把图片向下拓展一部分，然后截掉。 3. 将要拿来动起来的部分抠出，放在绿幕背景里或者画的背景颜色，导出图片。 4. 用 AI 视频生成工具写入提示词让图片动起来，如即梦、海螺、混元等工具，不停尝试抽卡。 5. 用剪映把抽卡合格的视频放在去掉内容的背景图片，通过色度抠图调整去掉视频的背景。多个视频放在背景图片，一起动即可。 AI 视频相关的软件教程： 包括视频模型如 luma Dream Machine、可灵、MiniMax 海螺 AI、Sora、Vidu 等，工具教程如 Hedra，视频工具如 VIGGLE，以及应用教程如视频转绘、视频拆解等。相关链接如下： WaytoAGI X 剪映的 AI 创意视频征集令·第 1 期： 1. 征集内容：使用 AI 功能创作的创意视频成片，也可投稿 AI 创意视频的教程（教大家如何做一个 AI 创意视频）。AI 功能包括但不限于：AI 对口型、AI 改动作、AI 配音、克隆音色、AI 音乐、AI 特效、AI 图文成片、AI 剪视频等。不包括纯图片生成或纯视频生成的内容（特指用 AI 工具生成的图片、图生视频，但视频里没有添加 AI 功能）。 2. 创作工具：主要使用「剪映」平台工具创作，可多使用剪映平台的 AI 功能/新功能；部分 AI 效果若剪映无法实现，可使用其他软件创作。 3. 内容价值：视频需有消费价值，要有一定内容主题，有故事感、或者有梗、或者有核心观点表达，让用户有持续观看和点赞、收藏的欲望。缺少内容主题、过于简单、过于模板化的内容将不予通过。在抖音、小红书等平台点赞量高的内容，审核通过率大大提升！ 4. 原创度：作品需要原创、极具创意和独特性，且符合当代年轻群体的审美和兴趣喜好，不可照搬、抄袭他人创意，一经发现将取消活动奖励，视情节严重情况回收灵感发布权限。 5. 作品延展度：作品有可模仿性，其他创作者看完后，可模仿学习或二创。比如：前期素材易获取，后期素材易剪辑或处理，让其他视频创作者有强烈的模仿欲望，且对自己模仿或二创视频有成就感和分享欲。 6. 作品时长：时长适中，最短不低于 15 秒，最长不建议超过 3 分钟。
2025-04-13
AI出设计图教程
以下是关于 AI 出设计图的教程： 使用 Midjourney 生成 UI 界面： 页面指令：指定生成某个页面（如首页、登录页等），只需添加页面指令描述，如“landing page”（登录页）、“Profile Page”（个人资料页）。 社交平台：关键词“landing page”可生成社交平台的登录页设计。 信息类：关键词“Profile Page”可生成人力资源类产品的个人资料页，包含照片、自我介绍、基本信息等内容。 Midjourney 产出的设计图视觉效果不错，适合在 APP 设计的初始阶段，如头脑风暴和风格探索中为设计师提供灵感和创意。但目前要直接用于开发仍有距离。 使用 Claude 生成设计稿的技巧： 引用 Tailwind CSS 写组件样式，确保色彩、响应式和基础组件的美观度。 按照特定的四个技巧可让 Claude 设计出美观的界面或组件。 生成设计稿的方法：将生成的代码部署到线上，使用 html.to.design 这个 Figma 插件将网页转换为设计稿，但每天免费次数有限。 进阶技巧和关键词： 图片内容一般分为二维插画和三维立体两种表现形式。 主题描述：可描述场景、故事、元素、物体或人物细节等。描述场景中的人物时应独立描述，避免长串文字，否则 AI 可能识别不到。 设计风格：可通过找风格类关键词参考或垫图/喂图，让 AI 根据给出的图片风格结合主题描述生成相应风格的图片。对于材质的描述，关键词的运用较为复杂，需要针对特定风格进行“咒语测试”。
2025-04-12
大模型的系统提示词
大模型的系统提示词主要包括以下方面： 1. 在“五津：一键生成‘摸鱼打工猫’视频”中，针对用户选择的主题和回答，总结用户的创作意图，如“打工猫摸鱼的 2 小时，在巴厘岛能看一场日落”，并根据此生成 4 组体现幽默风趣、以宫崎骏风格描绘主角为摸秋刀鱼橘猫的绘图提示词，以数组形式输出到“tishici”，将用户意图输出到“biaoti”。 2. 在“云中江树：智能对决：提示词攻防中的 AI 安全博弈”中，系统提示词的相关防御措施分为输入侧、模型侧和输出侧三个部分。输入侧可进行意图识别、语义匹配等综合判断用户输入是否恶意；模型侧对于有能力的厂商应增强安全性并平衡性能，开发者则要在开发中带着安全意识优化系统提示词，加入安全引导和禁止内容等；输出侧可使用传统防御和内容过滤手段，并针对大模型特点进行私有数据泄露等检查。此外，还提到间接注入和提示词泄露的情况，间接注入常发生在应用获取依赖外部数据资源时，攻击者通过隐藏恶意指令完成攻击；提示词泄露指试图操纵模型输出获取部分或全部系统提示词，大模型输出内容可分为系统提示词、用户提示和助手提示词三段，通过攻击手段可获取系统提示词。
2025-04-18
通义千问Qwen2.5-VL、阶跃星辰step-1.5v-mini、Gemini-2.0-Flash，这3个视觉理解大模型哪个最厉害？
以下是对通义千问 Qwen2.5VL 模型的介绍： 版本：有 3B、7B 和 72B 三个尺寸版本。 主要优势： 视觉理解能力：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。 视频理解能力：支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。 万物识别：擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位：采用矩形框和点的多样化方式对通用物体定位，支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解：提升 OCR 识别能力，增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析：设计了更全面的文档解析格式，称为 QwenVL HTML 格式，能够精准还原文档中的版面布局。 增强的视频理解：引入动态帧率（FPS）训练和绝对时间编码技术，支持小时级别的超长视频理解，具备秒级的事件定位能力。 开源平台： Huggingface：https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope：https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat：https://chat.qwenlm.ai 然而，对于阶跃星辰 step1.5vmini 和 Gemini2.0Flash 模型，目前提供的信息中未包含其与通义千问 Qwen2.5VL 模型的直接对比内容，因此无法确切判断哪个模型在视觉理解方面最厉害。但从通义千问 Qwen2.5VL 模型的上述特点来看，其在视觉理解方面具有较强的能力和优势。
2025-04-15
目前全世界最厉害的对视频视觉理解能力大模型是哪个
目前在视频视觉理解能力方面表现出色的大模型有： 1. 昆仑万维的 SkyReelsV1：它不仅支持文生视频、图生视频，还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。擅长万物识别，能分析图像中的文本、图表、图标、图形和布局等。
2025-04-15
目前全世界最厉害的视频视觉理解大模型是哪个
目前全世界较为厉害的视频视觉理解大模型有以下几个： 1. 昆仑万维的 SkyReelsV1：不仅支持文生视频、图生视频，是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元：语义理解能力出色，能精准还原复杂的场景和动作，如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5：全球最快的 AI 视频生成模型，Turbo 模式下可在 10 秒内生成视频，最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能，具备顶尖动漫生成能力。
2025-04-15
目前全世界最厉害的视觉理解大模型是哪个
目前在视觉理解大模型方面，较为突出的有 DeepSeek 的 JanusPro 模型，它将图像理解和生成统一在一个模型中；还有通义千问的视觉理解模型，其价格有较大降幅。此外，Pixverse V3.5 是全球最快的 AI 视频生成模型，在某些方面也展现出了出色的能力。但很难确切地指出全世界最厉害的视觉理解大模型，因为这取决于不同的评估标准和应用场景。
2025-04-15
大模型对话产品的优劣
大模型对话产品具有以下优点： 1. 具有强大的语言理解和生成能力。 2. 能够提供类似恋爱般令人上头的体验，具有一定的“想象力”和“取悦能力”。 3. 可以通过陪聊建立人和 AI 之间的感情连接，产品粘性不完全依赖技术优越性。 4. 能够为用户提供产品咨询服务，适用于有企业官网、钉钉、微信等渠道的客户。 5. 具有多种应用场景，如私有领域知识问答、个性化聊天机器人、智能助手等。 大模型对话产品也存在一些缺点： 1. 存在记忆混乱的问题。 2. AI 无法主动推动剧情，全靠用户脑补，导致用户上头期短，疲劳度高，长期留存低。 3. 无法回答私有领域问题（如公司制度、人员信息等）。 4. 无法及时获取最新信息（如实时天气、比赛结果等）。 5. 无法准确回答专业问题（如复杂数学计算、图像生成等）。
2025-04-14