Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

现在有哪些开源的文生图大模型？

Answer

以下是一些开源的文生图大模型：

关于 Kolors 模型的教学视频：

Kolors 模型能力总结：改进全面，有更强的中文文本编码器、机造的高质量文本描述、人标的高质量图片、强大的中文渲染能力，以及巧妙的 noise schedule 解决高分辨率图加噪不彻底的问题。实测效果很不错，在看到 Kling 视频生成的强大表现，能体现快手的技术实力。

Content generated by AI large model, please carefully verify (powered by aily)

References

工具教程：Kolors 开源模型

2024.07.17?Kolors-IP-Adapter-Plus的权重和推理代码已发布！请查看[IP-Adapter-Plus](https://github.com/Kwai-Kolors/Kolors/blob/master/ipadapter)获取更多详细信息。2024.07.12?Kolors已支持Diffusers！使用方式可参考[kolors-diffusers](https://huggingface.co/Kwai-Kolors/Kolors-diffusers)或[下面的例子](https://github.com/Kwai-Kolors/Kolors/blob/master/README_CN.md#using-with-diffusers)！感谢Diffusers官方提供的技术支持。2024.07.10?Kolors支持了[ModelScope](https://modelscope.cn/models/Kwai-Kolors/Kolors)。2024.07.09?Kolors支持了[ComfyUI](https://github.com/comfyanonymous/ComfyUI#manual-install-windows-linux)，感谢[@kijai](https://github.com/kijai/ComfyUI-KwaiKolorsWrapper)的工作。2024.07.06???我们开源了基于隐空间扩散的文生图大模型Kolors，该模型基于数十亿图文对进行训练，支持256的上下文token数，支持中英双语，技术细节参考[技术报告](https://github.com/Kwai-Kolors/Kolors/blob/master/imgs/Kolors_paper.pdf)。

工具教程：Kolors 开源模型

|内容标题|作者|类型|链接|备注||-|-|-|-|-||comfyui/kolors可图大模型本地开箱即用|BlueBomm|教学视频|[comfyui/kolors可图大模型本地开箱即用_哔哩哔哩_bilibili](https://www.bilibili.com/video/BV1kpaie1EDE/?spm_id_from=333.337.search-card.all.click&vd_source=d88abcf36fb03119aeaff6289e276995)|ComfyUI portable||最新开源文生图大模型可图本地部署、推理教程，性能超越midjourneyv6、stable diffusion3！|AI算法工程师01|教学视频|[最新开源文生图大模型可图本地部署、推理教程，性能超越midjourneyv6、stable diffusion3！_哔哩哔哩_bilibili](https://www.bilibili.com/video/BV1uJ4m1M7Ev/?spm_id_from=333.337.search-card.all.click&vd_source=d88abcf36fb03119aeaff6289e276995)|安装教程，公众号||Kolors模型在ComfyUI中二种详细安装方案模型双盘下载报错问题解决环境配置|峰上智行|教学视频|[Kolors模型在ComfyUI中二种详细安装方案模型双盘下载报错问题解决环境配置_哔哩哔哩_bilibili](https://www.bilibili.com/video/BV1KS411w7bs/?spm_id_from=333.337.search-card.all.click&vd_source=d88abcf36fb03119aeaff6289e276995)|安装教程，商业培训||快手发布首个生成中文文字的开源大模型Kolors，支持中英文提示词，可生成汉字中文，超强的中国元素理解生成能力，Comfyui部署kolors教程|设计师学Ai|教学视频|[快手发布首个生成中文文字的开源大模型Kolors，支持中英文提示词，可生成汉字中文，超强的中国元素理解生成能力，Comfyui部署kolors教程_哔哩哔哩_bilibili](https://www.bilibili.com/video/BV1Zr421T77c/?spm_id_from=333.337.search-card.all.click&vd_source=d88abcf36fb03119aeaff6289e276995)|安装教程，商业培训|

模型能力简介

Kolors可以说是最近开源的文生图模型中最给力的一个了。从技术报告来看，改进也是很全面的，更强的中文文本编码器、机造的高质量文本描述、人标的高质量图片、强大的中文渲染能力，以及巧妙的noise schedule解决高分辨率图加噪不彻底的问题。可以说是目前主流的文生图训练技巧都用上了，实测效果也确实很不错。在看到Kling视频生成的强大表现，不得不让人赞叹快手的技术实力。

Others are asking
AI文生视频
以下是关于文字生成视频（文生视频）的相关信息： 一些提供文生视频功能的产品： Pika：擅长动画制作，支持视频编辑。 SVD：Stable Diffusion 的插件，可在图片基础上生成视频。 Runway：老牌工具，提供实时涂抹修改视频功能，但收费。 Kaiber：视频转视频 AI，能将原视频转换成各种风格。 Sora：由 OpenAI 开发，可生成长达 1 分钟以上的视频。 更多相关网站可查看：https://www.waytoagi.com/category/38 。 制作 5 秒单镜头文生视频的实操步骤（以梦 AI 为例）： 进入平台：打开梦 AI 网站并登录，新用户有积分可免费体验。 输入提示词：涵盖景别、主体、环境、光线、动作、运镜等描述。 选择参数并点击生成：确认提示词无误后，选择模型、画面比例，点击「生成」按钮。 预览与下载：生成完毕后预览视频，满意则下载保存，不理想可调整提示词再试。 视频模型 Sora：OpenAI 发布的首款文生视频模型，能根据文字指令创造逼真且充满想象力的场景，可生成长达 1 分钟的一镜到底超长视频，视频中的人物和镜头具有惊人的一致性和稳定性。
2025-04-20
论文生成
以下是关于论文生成的相关信息： Deepseek V3 案例：有人用 Claude 做了一系列各种风格卡片的提示词，并在 V3 上进行尝试，效果不错。还有人把论文变成可视化。 ChatGPT 文本生成：以“词”为单位进行文本生成，存在随机性，有特定的“温度”参数控制较低排名单词的使用频率，对于文章生成“温度”为 0.8 效果较好。 论文写作的 AI 产品： 文献管理和搜索：Zotero 可自动提取文献信息，Semantic Scholar 是 AI 驱动的学术搜索引擎。 内容生成和辅助写作：Grammarly 提供文本校对等帮助，Quillbot 可重写和摘要。 研究和数据分析：Google Colab 支持 AI 和机器学习研究，Knitro 用于数学建模和优化。 论文结构和格式：LaTeX 结合自动化和模板处理格式，Overleaf 是在线 LaTeX 编辑器。 研究伦理和抄袭检测：Turnitin 和 Crossref Similarity Check 检测抄袭。 使用这些工具时要结合自身需求和写作风格，并仔细甄别内容。
2025-04-13
文生图
以下是关于文生图的简易上手教程： 1. 定主题：确定您需要生成的图片的主题、风格和要表达的信息。 2. 选择基础模型 Checkpoint：根据主题选择内容贴近的模型，如麦橘、墨幽的系列模型，如麦橘写实、麦橘男团、墨幽人造人等。 3. 选择 lora：在生成内容基础上，寻找重叠的 lora 以控制图片效果和质量，可参考广场上好看的帖子。 4. ControlNet：可控制图片中特定图像，如人物姿态、生成特定文字等，属于高阶技能。 5. 局部重绘：下篇再教。 6. 设置 VAE：无脑选择 840000 即可。 7. Prompt 提示词：用英文写想要 AI 生成的内容，使用单词和短语组合，用英文半角逗号隔开，不用管语法和长句。 8. 负向提示词 Negative Prompt：用英文写想要 AI 避免产生的内容，同样是单词和短语组合，用英文半角逗号隔开，不用管语法。 9. 采样算法：一般选 DPM++2M Karras 较多，也可参考 checkpoint 详情页上模型作者推荐的采样器。 10. 采样次数：选 DPM++2M Karras 时，采样次数一般在 30 40 之间。 11. 尺寸：根据个人喜好和需求选择。 以下是一些常见的文生图工具和模型： 1. 腾讯混元 2. luma 3. Recraft 4. 文生图大模型 V2.1L（美感版） 5. 美图奇想 5.0 6. midjourney 7. 快手可图 8. Flux.1.1 9. Stable Diffusion 3.5 Large 10. Imagen 3 网页版
2025-04-12
文生图工具
以下是关于文生图工具的相关信息： 常见的文生图工具包括： DALL·E：由 OpenAI 推出，能根据输入的文本描述生成逼真图片。 StableDiffusion：开源工具，可生成高质量图片，支持多种模型和算法。 MidJourney：因高质量图像生成效果和友好界面在创意设计人群中受欢迎。 更多文生图工具可在 WaytoAGI 网站（https://www.waytoagi.com/category/104）查看。 Stability AI 推出的基于 Discord 的媒体生成和编辑工具的文生图使用方法： 点击链接进入官方 DISCORD 服务器：https://discord.com/invite/stablediffusion 。 进入 ARTISAN 频道，任意选择一个频道。 输入/dream 会提示没有权限，点击链接，注册登录，填写信用卡信息以及地址，提交后可免费试用三天，三天后开始收费。 输入/dream 提示词，和 MJ 类似，可选参数有五类，包括 prompt（提示词，正常文字输入，必填项）、negative_prompt（负面提示词，填写负面提示词，选填项）、seed（种子值，可以自己填，选填项）、aspect（长宽比，选填项）、model（模型选择，SD3，Core 两种可选，选填项）、Images（张数，14 张，选填项）。完成后选择其中一张。 Tusiart 文生图的简易上手教程： 定主题：确定生成图片的主题、风格和表达的信息。 选择基础模型 Checkpoint：根据主题找内容贴近的 checkpoint，如麦橘、墨幽的系列模型。 选择 lora：寻找内容重叠的 lora 控制图片效果及质量。 ControlNet：控制图片中特定图像，如人物姿态、生成特定文字、艺术化二维码等。 局部重绘：下篇再教。 设置 VAE：无脑选择 840000 。 Prompt 提示词：用英文写需求，单词和短语组合，用英文半角逗号隔开。 负向提示词 Negative Prompt：用英文写避免产生的内容，单词和短语组合，用英文半角逗号隔开。 采样算法：一般选 DPM++2M Karras，也可参考模型作者推荐的采样器。 采样次数：选 DPM++2M Karras 时，采样次数在 30 40 之间。 尺寸：根据个人喜好和需求选择。
2025-04-12
文生图大模型排名
以下是文生图大模型的排名（从高到低）： 1. Imagen 3：真实感满分，指令遵从强。 2. Recraft：真实感强，风格泛化很好，指令遵从较好（会受风格影响）。 3. Midjourney：风格化强，艺术感在线，但会失真，指令遵从较差。 4. 快手可图：影视场景能用，风格化较差。 5. Flux.1.1：真实感强，需要搭配 Lora 使用。 6. 文生图大模型 V2.1L（美感版）：影视感强，但会有点油腻，细节不够，容易糊脸。 7. Luma：影视感强，但风格单一，糊。 8. 美图奇想 5.0：AI 油腻感重。 9. 腾讯混元：AI 油腻感重，影视感弱，空间结构不准。 10. SD 3.5 Large：崩。
2025-04-12
论文生成提示词
以下是为您整理的关于论文生成提示词的相关内容： 1. 在关于 DALL·E 3 论文的研究中，提示词包括： 给评分员提供完整的图像描述内容，要求评分员选择更符合文本描述的图像。 让评分员想象自己正在借助工具根据文本生成图像，并选择希望看到的图像。 让评分员从人的身体部位、面部和姿势、对象的位置等方面判断图像的连贯性。 但 DALL·E 3 仍存在空间感知不佳、构建文本描述生成器时的功能不可靠、生成的图片在重要细节上产生幻觉等问题。 2. 云舒为读懂 Claude 论文使用的提示词： “论文深度剖析导师”提示词，可用于深度理解文本，如解读公众号文章、专业论文、书籍、在线课程等。 还可用于求职分析，拆解岗位描述并定制求职攻略，甚至作为自我介绍的“测谎仪”。 希望以上内容对您有所帮助。
2025-04-10
你是一名资深程序员和经验丰富的编程教授，能够以通俗保姆式的方法教会小白从0开始编程序。现在要你教我完成如下任务：我需要编写一个程序，能够每天和不同的文生图大语言模型对话，生成不同场景下的机器人设计图片。应该怎么一步步实现？
以下是为您提供的从 0 开始编写一个能够每天和不同的文生图大语言模型对话，并生成不同场景下机器人设计图片的程序的步骤： 首先，对于小白来说，可以参考以下教程进行学习和操作： 1. 张梦飞的【保姆级】一步一图，手把手教你把 AI 接入微信： 重点感谢@熊猫大侠的不厌其烦的答疑解惑，并推荐@熊猫大侠的老王。 作者是看着 WaytoAGI 里大佬的文章学习制作的。有代码基础的同学，可以直接移步到这三篇教程中。 本篇教程适合“小白中的小白”，简单粗暴，不做讲解，复制粘贴即可。一步一图，保姆级指引。 本篇文章中，没有写每一步代码的含义和配置文件的对应含义。如果想要深入研究和调优，请移步上方推荐的三篇文章。 2. 大圣的胎教级教程：万字长文带你理解 RAG 全流程： 这是一篇面向普通人的 RAG 科普，不是面向 RAG 研究者的技术向文章。 文章一共 1.6 万字，旨在让您对 RAG 技术有更全面的认知，在使用 RAG 相关产品时，可以更好地理解其能力边界，从而充分发挥其潜力。 本文适合任何人，包括 AI 爱好者、为企业寻找知识库解决方案的老板、AI 产品经理等。 3. Yeadon 的写给小小白的从游戏入手学习搓图像流 bot： 学会将发布的图像流添加进 bot 中，并测试生成海报，解决无法在聊天界面显示图片的问题，重新调整图像流使其在对话窗口显示图片，最后发布 Bot。 通过这份教程，可以学会如何在 Coze 平台上打造一个有趣的 AI 游戏助手，掌握 AI 人格设定和对话逻辑的设计方法，了解如何配置图像生成功能。 希望以上内容对您有所帮助，祝您编程顺利！
2024-12-29
什么是pony类作图大模型
Pony 类作图大模型可能并非一个常见或明确的特定模型名称。但在相关领域中，有以下几种常见的作图大模型： 1. 快手可图团队开发的 Kolors 大模型：这是基于潜在扩散的大规模文本到图像生成模型，在数十亿图文对下进行训练，在视觉质量、复杂语义理解、文字生成（中英文字符）等方面具有优势，支持中英双语，在中文特色内容理解方面更具竞争力。更多信息可查看其技术报告。 2. 字节跳动豆包大模型团队推出的 SeedEdit 图像编辑模型：这是国内首个产品化的通用图像编辑模型，无需描边涂抹，仅使用简单的自然语言，就能进行换背景、转风格，或者在指定区域进行元素的增删和替换等操作。它能精准理解复杂指令，不仅看得懂中英文提示词，还对成语和专有名词有很好的理解。此外，它支持多轮操作，能够让用户对同一图像进行连续的创意编辑。
2024-12-04
国内文生图大模型，有哪些？
以下是一些国内的文生图大模型： 百度的文心一言：https://wenxin.baidu.com 抖音的云雀大模型：https://www.doubao.com 智谱 AI 的 GLM 大模型：https://chatglm.cn 中科院的紫东太初大模型：https://xihe.mindspore.cn 百川智能的百川大模型：https://www.baichuanai.com/ 商汤的日日新大模型：https://www.sensetime.com/ MiniMax 的 ABAB 大模型：https://api.minimax.chat 上海人工智能实验室的书生通用大模型：https://internai.org.cn 此外，真人效果卓绝的大模型 lofi.v2 也可用于生成真实场景下的字体。在使用 SDXL 大模型时，其分为 base+refiner 以及配套的 VAE 模型，base 用于文生图操作，refiner 用于细化生成的模型，VAE 用于调节图片效果和色彩。要在 webUI 中使用，需将秋叶启动器中 webUI 的版本升级到 1.5 以上，并将模型放入对应文件夹。
2024-11-12
有帮助草图大师建模的ai吗
以下是一些能够帮助草图大师建模的 AI 工具： 1. CADtools 12：这是一个 Adobe Illustrator（AI）插件，为 AI 添加了 92 个绘图和编辑工具，包括图形绘制、编辑、标注、尺寸标注、转换、创建和实用工具。 2. Autodesk Fusion 360：Autodesk 开发的一款集成了 AI 功能的云端 3D CAD/CAM 软件，能帮助创建复杂几何形状和优化设计。 3. nTopology：基于 AI 的设计软件，可创建复杂 CAD 模型，包括拓扑优化、几何复杂度和轻量化设计等。 4. ParaMatters CogniCAD：基于 AI 的 CAD 软件，能根据用户输入的设计目标和约束条件自动生成 3D 模型，适用于拓扑优化、结构设计和材料分布等领域。 5. 生成设计工具：一些主流 CAD 软件，如 Autodesk 系列、SolidWorks 等，提供了基于 AI 的生成设计工具，可根据用户输入的设计目标和约束条件自动产生多种设计方案。 此外，还有一些图片生成 3D 建模的工具，也可能对草图大师建模有帮助： 1. Tripo AI：VAST 发布的在线 3D 建模平台，能利用文本或图像在几秒钟内生成高质量且可立即使用的 3D 模型。 2. Meshy：功能全面，支持文本生成 3D、图片生成 3D 以及 AI 材质生成。 3. CSM AI：支持从视频和图像创建 3D 模型，Realtime Sketch to 3D 功能支持通过手绘草图实时设计 3D 形象，再转换为 3D 模型。 4. Sudo AI：支持通过文本和图像生成 3D 模型，适用于游戏领域的模型生成。 5. VoxCraft：免费 3D 模型生成工具，能将图像或文本快速转换成 3D 模型，并提供了图像到 3D、文本到 3D 和文本到纹理等多种功能。 如果您需要绘制逻辑视图、功能视图、部署视图，以下工具可供选择： 1. PlantUML：文本到 UML 的转换工具，可通过编写描述性文本来自动生成序列图、用例图、类图等，从而帮助创建逻辑视图。 2. Gliffy：基于云的绘图工具，提供创建各种架构图的功能，包括逻辑视图和部署视图。 3. Archi：免费的开源工具，用于创建 ArchiMate 和 TOGAF 模型，支持逻辑视图的创建。 4. Rational Rose：IBM 的 UML 工具，支持创建多种视图，包括逻辑视图和部署视图。 请注意，虽然这些工具可以辅助创建相关视图，但它们不都是基于 AI 的。AI 在绘图工具中的应用通常涉及到智能推荐布局、自动生成图表代码或识别图表中的模式和关系。在选择工具时，您应该考虑您的具体需求，比如是否需要支持特定的建模语言、是否需要与特定的开发工具集成、是否偏好在线工具或桌面应用程序等。
2024-08-23
通过semantic-kernel调用文生图大模型接口
Semantic Kernel 是一个由 Microsoft Research AI Interactions 团队开发的框架，它帮助开发者将自然语言处理 功能集成到应用程序中。Semantic Kernel 可以与各种服务、工具和模型配合工作，包括 OpenAI 的 DALLE、GPT3 和 Microsoft 的 Azure OpenAI 服务。 要使用 Semantic Kernel 调用文生图大模型接口，你需要按照以下步骤操作： 1. 设置你的环境： 确保你有 Microsoft Azure 订阅和 Azure Cognitive Services 资源。 安装最新的 .NET SDK。 2. 安装 Semantic Kernel： 通过 NuGet 安装 Semantic Kernel 包： ```shell dotnet add package Microsoft.SemanticKernel ``` 3. 配置 Semantic Kernel： 在你的应用程序中配置 Semantic Kernel，连接到 Azure OpenAI 服务或其他支持的模型。 设置 API 密钥和其他必要配置。 4. 编写代码调用文生图大模型： 使用 Semantic Kernel SDK 创建一个函数来调用文生图大模型接口。 准备输入数据，例如，图像生成的提示（prompts）。 5. 处理响应： 接收并处理模型的输出，可能包括图像数据或其他相关信息。 6. 部署和运行应用程序： 部署你的应用程序，并确保它可以访问 Azure OpenAI 服务。 运行你的应用程序，并通过 Semantic Kernel 调用文生图大模型。 这里是一个简单的代码示例，展示了如何使用 Semantic Kernel 来调用服务： ```csharp using Microsoft.SemanticKernel; // 创建 Semantic Kernel 实例 var kernel = new Kernel; // 配置 Azure OpenAI 服务 var azureOpenAiService = new AzureOpenAiService( new AzureOpenAiSettings { AzureOpenAiDeploymentName = "yourdeploymentname", Endpoint = "https://yourendpoint.openai.azure.com/", ApiKey = "yourapikey" } ); kernel.Config.AddAzureOpenAiService; // 定义函数 var promptFunction = kernel.CreateSemanticFunction; // 调用文生图大模型 var imagePrompt = "A serene landscape with mountains, a river flowing through, and a traditional Chinese pagoda in the distance."; var imageResult = await promptFunction.InvokeAsync; // 处理响应 Console.WriteLine; ``` 请注意，上述代码仅为示例，实际代码将取决于文生图大模型的接口细节和你的具体需求。确保在开发过程中遵守所有适用的法律和政策，并尊重用户隐私和数据保护。
2024-04-25
自动生成提示词的开源工具有哪些
以下是一些自动生成提示词的开源工具： 1. Freepik 推出的 Reimagine AI 工具：用户上传图片即可自动生成提示词，无需输入文字。它还能实时提供无限滚动结果展示，边操作边生成图像，通过调整提示词实时修改图片细节，并支持多种风格切换。相关链接：https://freepik.com/pikaso/reimagine 、https://x.com/imxiaohu/status/1770437135738581414?s=20 2. StreamMultiDiffusion 项目：使用区域文本提示实时生成图像，具有交互式操作体验，每个提示控制一个区域，实现精准图像生成。相关链接：https://arxiv.org/abs/2403.09055 、https://github.com/ironjr/StreamMultiDiffusion?tab=readmeovfile 、https://huggingface.co/spaces/ironjr/SemanticPalette 、https://x.com/imxiaohu/status/1770371036967850439?s=20 3. 【SD】自动写提示词脚本 One Button Prompt：可以在主菜单输入人物提示词，在“高级”中设置提示词混合，还具有一键运行放大的模块，包括完整的文生图放大和图生图放大，甚至可接入其他脚本和 controlnet。获取方式：添加公众号【白马与少年】，回复【SD】。
2025-04-12
开源flux模型如何快速使用
以下是关于开源 Flux 模型快速使用的方法： 1. 模型的下载： 如果因为环境问题，可以在网盘中下载。 siglipso400mpatch14384（视觉模型）：siglip 由 Google 开发的视觉特征提取模型，负责理解和编码图像内容。工作流程包括接收输入图像、分析图像的视觉内容并将这些视觉信息编码成一组特征向量。打开 ComfyUI\models\clip，在地址栏输入 CMD 回车，打开命令行，输入下面的命令拉取模型（也可以在网盘里下载）。 image_adapter.pt（适配器）：连接视觉模型和语言模型，优化数据转换。工作流程包括接收来自视觉模型的特征向量、转换和调整这些特征，使其适合语言模型处理。通过 https://huggingface.co/spaces/fancyfeast/joycaptionprealpha/tree/main/wpkklhc6 下载，放到 models 的 Joy_caption 文件夹里，如果该文件夹不存在，就新建一个。 MetaLlama3.18Bbnb4bit（语言模型）：大型语言模型，负责生成文本描述。工作流程包括接收经过适配器处理的特征、基于这些特征生成相应的文本描述、应用语言知识来确保描述的连贯性和准确性。打开 ComfyUI\models\LLM，地址栏输入 CMD 回车，在命令行里面输入下面命令。 2. 下载地址： ae.safetensors 和 flux1dev.safetensors 下载地址：https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 准备了夸克和百度的网盘链接，方便部分同学下载： flux 相关模型（体积较大）的夸克网盘链接：https://pan.quark.cn/s/b5e01255608b 。 flux 相关模型（体积较大）的百度网盘链接：https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码：ub9h 。 如果 GPU 性能不足、显存不够，底模可以使用 fp8 的量化版模型，速度会快很多，下载地址：https://huggingface.co/Kijai/fluxfp8/tree/main 。 3. 工作流下载： 最后我们再下载 dev 的工作流： 。或者下面官方原版的图片链接，图片导入 comfyUI 就是工作流：https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png 。我们打开 ComfyUI，把工作流或图片拖拽到 ComfyUI 里。
2025-04-08
开源AI Agent软件有哪些
以下是一些开源的 AI Agent 软件： 1. AutoGPT 和 BabyAGI：在去年 GPT4 刚发布时风靡全球科技圈，给出了让 LLM 自己做自动化多步骤推理的解题思路。 2. Coze：新一代的一站式 AI Bot 开发平台，适用于构建基于 AI 模型的各类问答 Bot，集成了丰富的插件工具。 3. Mircosoft 的 Copilot Studio：主要功能包括外挂数据、定义流程、调用 API 和操作，以及将 Copilot 部署到各种渠道。 4. 文心智能体：百度推出的基于文心大模型的智能体（Agent）平台，支持开发者根据自身需求打造大模型时代的产品能力。 5. MindOS 的 Agent 平台：允许用户定义 Agent 的个性、动机、知识，以及访问第三方数据和服务或执行设计良好的工作流。 6. 斑头雁：2B 基于企业知识库构建专属 AI Agent 的平台，适用于客服、营销、销售等多种场景，提供多种成熟模板，功能强大且开箱即用。 7. 钉钉 AI 超级助理：依托于钉钉强大的场景和数据优势，在处理高频工作场景如销售、客服、行程安排等方面表现出色。 此外，智谱·AI 开源的语言模型中也有与 Agent 相关的，如 AgentLM7B、AgentLM13B、AgentLM70B 等。
2025-03-29
mcp 有什么开源的方案吗
Anthropic 于 2024 年 11 月推出并开源了 MCP（模型上下文协议）。MCP 就像一个“转接头”或“通用插座”，能统一不同的外部服务，如 Google Drive、GitHub、Slack、本地文件系统等，通过标准化接口与大语言模型对接。开发者基于 MCP 规范开发一次“接口适配器”（MCP 服务器），就能让所有兼容 MCP 的模型（MCP 客户端）无缝接入，无需针对每个模型单独适配，大幅提升兼容性与开发效率。MCP 里面还包含 SSE（ServerSent Events），是一种允许服务器向浏览器推送实时更新的技术。MCP 像为 AI 模型量身定制的“USBC 接口”，可以标准化地连接 AI 系统与各类外部工具和数据源。与传统 API 相比，MCP 是单一协议，只要一次整合就能连接多个服务；具有动态发现功能，AI 模型能自动识别并使用可用的工具；支持双向通信，模型不仅能查询数据，还能主动触发操作。相关链接：
2025-03-27
帮我列举2025年3月1日以来，国内外、闭源开源模型厂商的更新记录。
以下是 2025 年 3 月 1 日以来，国内外、闭源开源模型厂商的部分更新记录： 2025 年 3 月 20 日，OpenAI 推出了一套全新的音频模型，旨在通过 API 为开发者提供更智能、更可定制的语音代理支持，包括改进的语音转文本和文本转语音功能，为语音交互应用带来显著提升。 李开复公开表示 OpenAI 面临生存危机，商业模式不可持续。他强调中国的 DeepSeek 以极低成本提供接近的性能，开源模式将主导未来 AI 发展。他认为企业级 AI 应用将成为投资重点，资源限制反而促进了创新。李开复大胆预测，中国将出现三大 AI 玩家，竞争愈发激烈。 SuperCLUE 发布《中文大模型基准测评 2025 年 3 月报告》，指出 2022 2025 年经历多阶段发展，国内外模型差距缩小。测评显示 o3mini总分领先，国产模型表现亮眼，如 DeepSeekR1 等在部分能力上与国际领先模型相当，且小参数模型潜力大。性价比上，国产模型优势明显。DeepSeek 系列模型深度分析表明，其 R1 在多方面表现出色，蒸馏模型实用性高，不同第三方平台的联网搜索和稳定性有差异。 以上信息来源包括： 《》 《》 《》
2025-03-26
现在Ai作图用什么？还是以前的Stable Diffusion吗？还是又出现了新的开源软件？
目前在 AI 作图领域，Stable Diffusion 仍然是常用的工具之一。Stable Diffusion 是 AI 绘画领域的核心模型，能够进行文生图和图生图等图像生成任务，其完全开源的特点使其能快速构建强大繁荣的上下游生态。 除了 Stable Diffusion，也出现了一些新的相关开源软件和工具，例如： ：Stability AI 开源的 AI 图像生成平台。 ：拥有超过 700 种经过测试的艺术风格，可快速搜索查找各类艺术家，并支持一键复制 Prompt。 同时，市面上主流的 AI 绘图软件还有 Midjourney，其优势是操作简单方便，创作内容丰富，但需要科学上网并且付费。如果您想尝试使用 Stable Diffusion，可以参考 B 站【秋葉 aaaki】这个 Up 主的视频了解具体的安装方法。
2025-03-24
大模型的系统提示词
大模型的系统提示词主要包括以下方面： 1. 在“五津：一键生成‘摸鱼打工猫’视频”中，针对用户选择的主题和回答，总结用户的创作意图，如“打工猫摸鱼的 2 小时，在巴厘岛能看一场日落”，并根据此生成 4 组体现幽默风趣、以宫崎骏风格描绘主角为摸秋刀鱼橘猫的绘图提示词，以数组形式输出到“tishici”，将用户意图输出到“biaoti”。 2. 在“云中江树：智能对决：提示词攻防中的 AI 安全博弈”中，系统提示词的相关防御措施分为输入侧、模型侧和输出侧三个部分。输入侧可进行意图识别、语义匹配等综合判断用户输入是否恶意；模型侧对于有能力的厂商应增强安全性并平衡性能，开发者则要在开发中带着安全意识优化系统提示词，加入安全引导和禁止内容等；输出侧可使用传统防御和内容过滤手段，并针对大模型特点进行私有数据泄露等检查。此外，还提到间接注入和提示词泄露的情况，间接注入常发生在应用获取依赖外部数据资源时，攻击者通过隐藏恶意指令完成攻击；提示词泄露指试图操纵模型输出获取部分或全部系统提示词，大模型输出内容可分为系统提示词、用户提示和助手提示词三段，通过攻击手段可获取系统提示词。
2025-04-18
通义千问Qwen2.5-VL、阶跃星辰step-1.5v-mini、Gemini-2.0-Flash，这3个视觉理解大模型哪个最厉害？
以下是对通义千问 Qwen2.5VL 模型的介绍： 版本：有 3B、7B 和 72B 三个尺寸版本。 主要优势： 视觉理解能力：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。 视频理解能力：支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。 万物识别：擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位：采用矩形框和点的多样化方式对通用物体定位，支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解：提升 OCR 识别能力，增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析：设计了更全面的文档解析格式，称为 QwenVL HTML 格式，能够精准还原文档中的版面布局。 增强的视频理解：引入动态帧率（FPS）训练和绝对时间编码技术，支持小时级别的超长视频理解，具备秒级的事件定位能力。 开源平台： Huggingface：https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope：https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat：https://chat.qwenlm.ai 然而，对于阶跃星辰 step1.5vmini 和 Gemini2.0Flash 模型，目前提供的信息中未包含其与通义千问 Qwen2.5VL 模型的直接对比内容，因此无法确切判断哪个模型在视觉理解方面最厉害。但从通义千问 Qwen2.5VL 模型的上述特点来看，其在视觉理解方面具有较强的能力和优势。
2025-04-15
目前全世界最厉害的对视频视觉理解能力大模型是哪个
目前在视频视觉理解能力方面表现出色的大模型有： 1. 昆仑万维的 SkyReelsV1：它不仅支持文生视频、图生视频，还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。擅长万物识别，能分析图像中的文本、图表、图标、图形和布局等。
2025-04-15
目前全世界最厉害的视频视觉理解大模型是哪个
目前全世界较为厉害的视频视觉理解大模型有以下几个： 1. 昆仑万维的 SkyReelsV1：不仅支持文生视频、图生视频，是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元：语义理解能力出色，能精准还原复杂的场景和动作，如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5：全球最快的 AI 视频生成模型，Turbo 模式下可在 10 秒内生成视频，最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能，具备顶尖动漫生成能力。
2025-04-15
目前全世界最厉害的视觉理解大模型是哪个
目前在视觉理解大模型方面，较为突出的有 DeepSeek 的 JanusPro 模型，它将图像理解和生成统一在一个模型中；还有通义千问的视觉理解模型，其价格有较大降幅。此外，Pixverse V3.5 是全球最快的 AI 视频生成模型，在某些方面也展现出了出色的能力。但很难确切地指出全世界最厉害的视觉理解大模型，因为这取决于不同的评估标准和应用场景。
2025-04-15
大模型对话产品的优劣
大模型对话产品具有以下优点： 1. 具有强大的语言理解和生成能力。 2. 能够提供类似恋爱般令人上头的体验，具有一定的“想象力”和“取悦能力”。 3. 可以通过陪聊建立人和 AI 之间的感情连接，产品粘性不完全依赖技术优越性。 4. 能够为用户提供产品咨询服务，适用于有企业官网、钉钉、微信等渠道的客户。 5. 具有多种应用场景，如私有领域知识问答、个性化聊天机器人、智能助手等。 大模型对话产品也存在一些缺点： 1. 存在记忆混乱的问题。 2. AI 无法主动推动剧情，全靠用户脑补，导致用户上头期短，疲劳度高，长期留存低。 3. 无法回答私有领域问题（如公司制度、人员信息等）。 4. 无法及时获取最新信息（如实时天气、比赛结果等）。 5. 无法准确回答专业问题（如复杂数学计算、图像生成等）。
2025-04-14