Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

comfyui workflow

Answer

ComfyUI 的工作流主要包括以下内容:

  • 低显存运行工作流:目的是让 FLUX 模型能在较低显存情况下运行。分阶段处理思路为,先在较低分辨率下使用 Flux 模型进行初始生成,然后采用两阶段处理,即先用 Flux 生成,后用 SDXL 放大,有效控制显存使用,最后使用 SD 放大提升图片质量。工作流流程包括初始图像生成(Flux)阶段的 UNETLoader 加载 flux1-dev.sft 模型、DualCLIPLoader 加载 t5xxl 和 clip_l 模型、VAELoader 加载 flux-ae.sft 等步骤,以及图像放大和细化(SDXL)阶段的 CheckpointLoaderSimple 加载 SDXL 模型、UpscaleModelLoader 加载 RealESRGAN_x4.pth 用于放大等步骤。
  • 工作流相关网站:
    • Openart.ai:流量较高,支持上传、下载、在线生成,免费账户有 50 个积分,加入 Discord 可再加 100 积分,开通最低每月 6 美元套餐后每月有 5000 积分。
    • ComfyWorkflows 网站:支持在线运行工作流,实际下载量和访问量略少于 openart。
    • Flowt.ai:https://flowt.ai/community
  • 提示词自动生成 ComfyUI 工作流:英伟达整了个花活,通过画图提示词自动生成匹配的 ComfyUI 工作流,命名为 ComfyGen(comfy 生成器),目前仅支持文生图模型。英伟达称其可以生成高质量的图并泛化到其他领域,做了对比测试,效果基本一致甚至更符合人类对提示词的判断和理解,与 C 站上人类写的提示词对比效果略胜一筹,但项目未开源。
Content generated by AI large model, please carefully verify (powered by aily)

References

ComfyUI FLUX低显存运行

这个方法的目的是让FLUX模型能在较低的显存情况下也能运行.分阶段处理的思路:1.使用Flux模型进行初始生成,在较低分辨率下工作以提高效率2.采用两阶段处理:先用Flux生成,后用SDXL放大,效控制显存的使用3.使用SD放大提升图片质量工作流的流程:初始图像生成(Flux):UNETLoader:加载flux1-dev.sft模型DualCLIPLoader:加载t5xxl和clip_l模型VAELoader:加载flux-ae.sftCLIPTextEncode:处理输入提示词BasicGuider和RandomNoise:生成初始噪声和引导SamplerCustomAdvanced:使用Flux模型生成初始图像VAEDecode:解码生成的潜在图像初始图像预览:PreviewImage:显示Flux生成的初始图像图像放大和细化(SDXL):CheckpointLoaderSimple:加载SDXL模型(fenrisxl_SDXLLightning.safetensors)UpscaleModelLoader:加载RealESRGAN_x4.pth用于放大VAELoader:加载sdxl_vae.safetensorsImageSharpen:对初始图像进行锐化处理UltimateSDUpscale:使用SDXL模型和放大模型进行最终的放大和细化最终图像预览:PreviewImage:显示最终放大和细化后的图像

ComfyUI工作流网站

Workflow是ComfyUI的精髓。所谓Workflow工作流,在ComfyUI这里就是它的节点结构及数据流运转过程。[heading2]推荐工作流网站[heading3]“老牌”workflow网站Openart.ai[content]https://openart.ai/workflows/流量比较高,支持上传、下载、在线生成,免费账户总共有50个积分,加入Discord可以再加100积分,开通最低的每个月6美元的套餐后,每个月会有5000积分。[heading3]ComfyWorkflows网站[content]https://comfyworkflows.com/cloud支持在线运行工作流,从workflow的实际下载量和访问量来看,略少于openart。[heading3]Flowt.ai[content]https://flowt.ai/community

提示词自动生成 ComfyUI 工作流来了! (英伟达整花活, 把 ComfyUI 的门槛打下来!

在多次社区的ComfyUI共学中发现,ComfyUI工作流的门槛确实过高。让很多人理解“潜空间”,“Vae”,“LoRA”,“controlnet”等一系列概念非常困难,更别说基于理解做一个工作流了。这次英伟达整了个花活,让大家看到了打破这个门槛的可能性:?通过画图提示词,自动生成匹配的ComfyUI工作流!英伟达将其命名为ComfyGen(comfy生成器)!当然目前仅支持文生图模型。在英伟达发布的内容中,他们称:“ComfyGen可以生成高质量的图并泛化到其他领域(如下图)。”并且他们很自豪的宣称:“下图这么优秀的图,完全是ComfyGen基于SDXL规模的模型画的,还没有用flux呢!”当然,作为学术性研究论文,肯定不会很草率的下结论。英伟达团队做了对比测试:下图中分别为1)SDXL原生2)两个微调模型(用过的同学会很熟悉3)两个人搭的工作流4)两个不同的comfyGen制作的图(后文原理部分中会说明这两者的区别)可以看到效果基本一致,甚至确实更符合人类对提示词的判断和理解。同时他们还做了和C站上人类写的提示词作对比:很显然,ComfyGen的效果略胜一筹。不过由于项目未开源,无法体验实际效果。但是如果真的效果如英伟达发布所说,那是相当惊艳了。

Others are asking
comfyui工作流
ComfyUI 工作流主要包括以下内容: FLUX 低显存运行工作流:目的是让 FLUX 模型能在较低的显存情况下运行。分阶段处理思路为:先在较低分辨率下使用 Flux 模型进行初始生成,然后采用两阶段处理,即先用 Flux 生成,后用 SDXL 放大,有效控制显存的使用,最后使用 SD 放大提升图片质量。工作流的流程包括初始图像生成(Flux)的一系列操作,如加载相关模型、处理输入提示词、生成初始噪声和引导等,以及初始图像预览;图像放大和细化(SDXL)的一系列操作,如加载 SDXL 模型、对初始图像进行锐化处理等,还有最终图像预览。 工作流网站: “老牌”workflow 网站 Openart.ai:https://openart.ai/workflows/ 。流量比较高,支持上传、下载、在线生成,免费账户总共有 50 个积分,加入 Discord 可以再加 100 积分,开通最低的每个月 6 美元的套餐后,每个月会有 5000 积分。 ComfyWorkflows 网站:https://comfyworkflows.com/cloud 。支持在线运行工作流,从 workflow 的实际下载量和访问量来看,略少于 openart。 Flowt.ai:https://flowt.ai/community 。 绿幕工作流:包含两个组,即生成绿幕素材和绿幕素材抠图。因为 SD 无法直接生成透明背景的 png 图片,所以要先生成一张素材图,前景是重要的主体素材,背景是纯色(方便识别),选择绿幕是为了方便抠图。工作流文件可通过链接 https://pan.quark.cn/s/01eae57419ce 提取(提取码:KxgB),下载拖入 ComfyUI 中自动加载工作流进行学习。
2025-04-14
ComfyUI
ComfyUI 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI,类似于集成了 stable diffusion 功能的 substance designer,通过将 stable diffusion 的流程拆分成节点,实现了更精准的工作流定制和完善的可复现性。 其优势包括: 1. 对显存要求相对较低,启动速度快,出图速度快。 2. 具有更高的生成自由度。 3. 可以和 webui 共享环境和模型。 4. 可以搭建自己的工作流程,可以导出流程并分享给别人,报错时能清晰发现错误所在步骤。 5. 生成的图片拖进后会还原整个工作流程,模型也会选择好。 劣势有: 1. 操作门槛高,需要有清晰的逻辑。 2. 生态没有 webui 多(常用的都有),也有一些针对 Comfyui 开发的有趣插件。 官方链接:从 github 上下载作者部署好环境和依赖的整合包,按照官方文档按照即可:https://github.com/comfyanonymous/ComfyUI 。 安装部署方面: 1. 地址:https://github.com/comfyanonymous/ComfyUI ,可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git ,或者下载安装包 file:ComfyUI.zip ,下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动。启动完成即进入基础界面。 2. 节点存放目录:comfyUI 的节点包括后面安装的拓展节点都存放在本目录下 D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 。 3. 模型存放目录: 大模型:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints 。 Lora:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras 。 Vae:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 。 4. 模型共用:已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可,这样就不用重复下载模型了。找到已安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件,将后缀.example 删除,然后右键用记事本打开。 此外,还可以直接在 Comfy UI 中训练 LoRA 模型。
2025-04-14
comfyui
ComfyUI 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI,可想象成集成了 stable diffusion 功能的 substance designer,将 stable diffusion 流程拆分成节点,实现更精准工作流定制和完善的可复现性。 其优势包括: 1. 对显存要求相对较低,启动和出图速度快。 2. 生成自由度更高。 3. 可以和 webui 共享环境和模型。 4. 能搭建自己的工作流程,可导出流程并分享,报错时能清晰发现错误所在。 5. 生成的图片拖进后会还原整个工作流程,模型也会选择好。 劣势有: 1. 操作门槛高,需要有清晰逻辑。 2. 生态没有 webui 多(但常用的都有),也有一些针对 Comfyui 开发的有趣插件。 官方链接:https://github.com/comfyanonymous/ComfyUI 。 安装部署方面: 1. 地址:https://github.com/comfyanonymous/ComfyUI ,可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git ,或者下载安装包 file:ComfyUI.zip ,下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动,启动完成即进入基础界面。 2. 节点存放目录:comfyUI 的节点包括后面安装的拓展节点都存放在 D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 。 3. 模型存放目录: 大模型:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints 。 Lora:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras 。 Vae:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 。 4. 模型共用:已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型,找到已安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件,将后缀.example 删除,然后右键用记事本打开。 此外,还可以直接在 Comfy UI 中训练 LoRA 模型。默认情况下,训练结果直接保存在 ComfyUI lora 文件夹中,训练后只需刷新并选择 LoRA 就可以测试。
2025-04-13
comfyui漫画工作流
ComfyUI 漫画工作流包含以下内容: 1. 绿幕工作流:包含两个组,即生成绿幕素材和绿幕素材抠图。因为 SD 无法直接生成透明背景的 png 图片,所以要先生成一张素材图,前景是重要的主体素材,背景为纯色(方便识别),选择绿幕是为了便于抠图。工作流文件链接:https://pan.quark.cn/s/01eae57419ce 提取码:KxgB 2. 动画工作流: 啊朔提供的动画工作流文件,如:
2025-04-13
comfyui动画片工作流怎么构建
构建 ComfyUI 动画片工作流的步骤如下: 1. 打开 Comfyui 界面后,右键点击界面,找到 Comfyui LLM party 的目录。您可以学习手动连接节点来实现最简单的 AI 女友工作流,也可以将工作流文件拖拽到 Comfyui 界面中一键复刻提示词工程实验。 2. 从 ollama 的 github 仓库找到对应版本并下载。启动 ollama 后,在 cmd 中输入 ollama run gemma2 将自动下载 gemma2 模型到本地并启动。将 ollama 的默认 base URL=http://127.0.0.1:11434/v1/以及 api_key=ollama 填入 LLM 加载器节点即可调用 ollama 中的模型进行实验。 3. 若 ollama 连接不上,很可能是代理服务器的问题,请将 127.0.0.1:11434 添加到不使用代理服务器的列表中。 此外,还有以下相关工作流搭建的信息供您参考: 1. 搭建艺术二维码工作流:打开 ComfyUI 导入相应工作流。工作流所用到的节点包括大模型节点(可选择如 AWPainting、primemixanything、xxmix9realistic v40 等,并提供了相应链接)、关键词节点、Lora 节点、ControlNet 节点(选用 qrcode_monster V2 版本,下载链接:https://huggingface.co/monsterlabs/control_v1p_sd15_qrcode_monster/tree/main/v2 )、采样器节点(Step 选择高步数,35 50 即可,采样器默认的 euler a/dpmpp 2m sde )。 2. 搭建 ComfyUI 基础工作流:从零开始搭建时,首先准备加载大模型的节点,在工作区鼠标右键点击,选择 Add Node > 选择 loaders > 选择 Load Checkpoint,并选择对应的模型。然后加载 Conditioning(条件),在工作区鼠标右键点击,选择 Add Node > 选择 Conditioning > 选择 CLIP TEXT Encode,输入正反向提示词。添加采样器时,部分参数设置与 WEB_UI 有所不同,如 seed 值只有固定、随机、每次增加、每次减少这四个选项,采样器和调度器是分开的。
2025-04-13
comfyui如何本地安装
以下是在本地安装 ComfyUI 的详细步骤: 安装方式有两种,分别是安装到本地和安装到云端。本部分主要介绍本地安装方法。 本地安装方法: 1. 命令行安装: 这是普适性最强的方法,安装后二次遇到问题的概率相对较低,但对于不熟悉命令行以及代码的用户来说,可能会有一定的门槛。 ComfyUI 的源码地址在:https://github.com/comfyanonymous/ComfyUI ,安装方法写在了 Readme 中。您也可以按照 Readme 文档进行操作。 如果会 Git 请在 Terminal 运行以下代码: 如果不会用 Git,推荐使用 Github 的客户端(https://desktop.github.com/)拉代码。 下载并安装好 Github Desktop 后,打开该应用。 然后打开 ComfyUI 的 Github 页面(https://github.com/comfyanonymous/ComfyUI),点击右上角的绿色按钮,并点击菜单里的「Open with GitHub Desktop」,此时浏览器会弹出是否要打开 GitHub Desktop,点击「是」。 GitHub Desktop 会让您选择一个保存位置,按需调整,然后点击确定。看到下方特定界面,意味着完成了代码同步。 2. 安装包安装: 这种方法安装比较简单,下载就能用。 ComfyUI 的官方安装包:目前仅支持 Windows 系统,且显卡必须是 Nivida。下载地址是:https://github.com/comfyanonymous/ComfyUI/releases ,只需下载最新的版本,解压就能使用。 安装完成后: 1. 节点存放目录:comfyUI 的节点包括后面安装的拓展节点都存放在本目录下:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 2. 模型存放目录: 大模型:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints Lora:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras Vae:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 3. 模型共用:已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可,这样就不用重复下载模型了。找到您已经安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件,将后缀.example 删除,然后右键用记事本打开。 希望以上内容对您有所帮助。
2025-04-10
AI workflow在企业中是否比Agent应用价值和场景更多
AI workflow 和 Agent 在企业中的应用价值和场景各有特点。 Agentic Workflows 具有以下优势: 1. 灵活性、适应性和可定制性:能够根据任务难度进行调整和演变,通过组合不同模式实现定制,在需求和复杂性增长时进行迭代升级。 2. 在复杂任务上的性能提升:将复杂任务分解为更小、可管理的步骤,显著优于确定性的零样本方法。 3. 自我纠正和持续学习:能够评估自身行为,完善策略,从过去经验中学习,在每次迭代中变得更有效和个性化。 4. 操作效率和可扩展性:可以高精度自动化重复任务,减少人工操作和运营成本,还能轻松扩展。 Agentic Workflow 的应用场景包括原子设计模式的组合、与人类反馈循环集成等。例如,Agentic RAG 在检索增强生成流程中引入了一个或多个 AI Agents,在规划阶段可进行查询分解等操作,还能评估数据和响应的相关性和准确性。 一般来说,Workflow 是一系列旨在完成特定任务或目标的相互连接的步骤。最简单的工作流是确定性的,遵循预定义步骤序列。有些工作流利用大模型或其他 AI 技术,分为 Agentic 和非 Agentic 两类。非 Agentic 工作流中,大模型根据指令生成输出。Agentic Workflow 是由单个或几个 AI Agents 动态执行的一系列连接步骤,被授予权限收集数据、执行任务并做出决策,利用 Agents 的核心组件将传统工作流转变为响应式、自适应和自我进化的过程。 综上所述,不能简单地说 AI workflow 在企业中比 Agent 应用价值和场景更多,这取决于企业的具体需求和任务特点。
2025-04-09
什么是agent?什么是workflow?他们的区别和界限
智能体(Agent)和工作流(Workflow)的定义及区别如下: 智能体(Agent): 可以有多种定义。一些客户将其定义为能够长期独立运行的全自动系统,可使用各种工具完成复杂任务。 在 Anthropic 中,智能体是由 LLM 动态指导自身流程和工具使用的系统,能够自主控制任务完成方式。 工作流(Workflow): 是通过预定义代码路径来编排 LLM 和工具的系统。 每个组块可以看成是一个函数,其中混杂了传统函数、调用第三方服务的函数和基于 LLM 的函数。 总的来说,智能体更强调 LLM 对自身流程和工具使用的动态指导和自主控制,而工作流则更侧重于通过预定义的代码路径来编排 LLM 和工具。
2025-03-21
AI Agent和Agentic Workflow的区别
AI Agent 和 Agentic Workflow 存在以下区别: AI Agent: 基本框架:由“LLM + 规划 + 记忆 + 工具使用”构成,大模型 LLM 充当“大脑”。 规划方面:包括子目标分解、反思与改进,将大型任务分解为较小可管理的子目标,能对过去行动进行自我批评和反思,从错误中学习并改进未来步骤。 记忆方面:用于存储和调用相关信息。 Agentic Workflow: 驱动角色工作流变革:使用多智能体协作的方法,让不同角色的 Agent 按照任务要求自主规划选择工具、流程进行协作完成任务。 涉及人机协同关系:生成式 AI 的人机协同分为嵌入式、副驾驶、智能代理 3 种产品设计模式,在不同模式下,人与 AI 的协作流程有所差异。 重塑获取信息的方式:如搜索引擎和基于大模型的聊天机器人在获取信息上目标一致,ChatGPT 的出现被认为将对传统搜索引擎带来颠覆。 包含多种设计模式:如反思、工具使用、规划、多智能体协同等。反思是让 Agent 审视和修正自己生成的输出;工具使用指 LLM 生成代码、调用 API 等工具进行操作;规划是让 Agent 分解复杂任务并按计划执行;多智能体协同是多个 Agent 扮演不同角色合作完成任务。
2025-03-19
agent和workflow的区别
智能体(Agent)和工作流(Workflow)的区别主要体现在以下几个方面: 1. 定义和功能: 智能体是由 LLM 动态指导自身流程和工具使用的系统,能够自主控制任务完成方式。 工作流是通过预定义代码路径来编排 LLM 和工具的系统。 2. 运行方式: 智能体可以长期独立运行,是全自动的系统,能使用各种工具完成复杂任务。 工作流中的子任务是人为编排的,属于手动编排。 3. 组成和特点: 工作流中的每个组块可以看成是一个函数,包括传统函数、调用第三方服务的函数和基于 LLM 的函数。由这三类函数组合而成的工作流被称为超函数,它不同于传统函数,形式上是用自然语言编写的程序,功能上可以模拟人的高阶思维。 智能体在架构上与工作流有所区分,其更强调自主性和动态性。 在实际应用中,工作流的灵活性和可控性能够将智能体能力的天花板往上顶一大截,例如可以在流程中加入人类 Knowhow、进行专家测试试跑、引入图的概念灵活组织节点等。评价一个 Agent 平台好不好用,可以从基座模型的 function calling 能力、workflow 的灵活性以及平台创作者的 workflow 编写水平等方面考量。
2025-03-12
关于workflow有什么著名的论文
以下是一些关于 workflow 的著名论文或相关内容: 1. 5 月 9 日艾木分享的《Workflow》,其中包含关于 workflow 的理论探讨、对 AGI 的正确理解与思考、如何客观看待大语言模型的基础表现、人工智能在编程领域的应用及挑战、从提示词工程到 flow 工程:AI 在代码生成领域的研究与应用、人工智能在开源项目测试集中的表现与工作流的重要性、关于 workflow 的介绍与案例演示等内容。 2. 艾木的《如何用 Coze 制作一个信息检索 Bot(含 Workflow 的基础用法)》,提到 Coze 的 Workflow 为制作 Agents/Bots 提供很大的灵活性和便捷性,对 Workflow 中的函数进行了分类,并提出了超函数(Hyperfuction)的概念。 3. 2024 年 8 月 20 日的更新中,有《[AI Agent 产品经理血泪史(二)欲知方圆,则必规矩【Workflow 篇】》,聚焦于工作流(Workflow)在 AI 智能体中的重要性,回顾了集成平台的演变,探讨了工作流在自动化和手动编排中的应用以及如何提升灵活性以应对不断变化的需求。 4. 还有《[张梦飞:【全网最细】从 LLM 大语言模型、知识库到微信机器人的全本地部署教程》和《[ComfyUI 工作流:黑猴子悟空换脸报错解决大法》等相关内容。
2024-12-18
workflow使用指南
使用工作流的指南如下: 1. 创建工作流。 2. 配置工作流: 通过拖拽的方式将节点添加到画布内,并按照任务执行顺序连接节点。 工作流提供了基础节点供使用,还可以添加插件节点来执行特定任务。具体操作如下: 在左侧面板中选择要使用的节点。 将节点拖拽到画布中,并与其他节点相连接。 配置节点的输入输出参数。 3. 测试并发布工作流。 4. 在 Bot 内使用工作流: 前往当前团队的 Bots 页面,选择进入指定 Bot。 在 Bots 编排页面的工作流区域,单击右侧的加号图标。 在添加工作流对话框,在“我创建的”页面选择自建的工作流。 在 Bot 的人设与回复逻辑区域,引用工作流的名称来调用工作流。
2024-09-23