Chat with Wiki - comy UI FLUX 低显存

Answer

ComfyUI FLUX 低显存运行的相关内容如下：

工作流：
- 目的是让 FLUX 模型能在较低的显存情况下运行。
- 分阶段处理思路：
  - 先使用 Flux 模型在较低分辨率下进行初始生成以提高效率。
  - 采用两阶段处理，先用 Flux 生成，后用 SDXL 放大，有效控制显存的使用。
  - 使用 SD 放大提升图片质量。
- 工作流的流程：
  - 初始图像生成（Flux）：
    - UNETLoader：加载 flux1-dev.sft 模型。
    - DualCLIPLoader：加载 t5xxl 和 clip_l 模型。
    - VAELoader：加载 flux-ae.sft。
    - CLIPTextEncode：处理输入提示词。
    - BasicGuider 和 RandomNoise：生成初始噪声和引导。
    - SamplerCustomAdvanced：使用 Flux 模型生成初始图像。
    - VAEDecode：解码生成的潜在图像。
    - 初始图像预览：PreviewImage 显示 Flux 生成的初始图像。
  - 图像放大和细化（SDXL）：
    - CheckpointLoaderSimple：加载 SDXL 模型（fenrisxl_SDXLLightning.safetensors）。
    - UpscaleModelLoader：加载 RealESRGAN_x4.pth 用于放大。
    - VAELoader：加载 sdxl_vae.safetensors。
    - ImageSharpen：对初始图像进行锐化处理。
    - UltimateSDUpscale：使用 SDXL 模型和放大模型进行最终的放大和细化。
    - 最终图像预览：PreviewImage 显示最终放大和细化后的图像。
FLUX 模型的选择：
- 用半精度 fp8 dev 版本（能用单精度 dev 版本的尽量用），也适合 fp8 的 T8 模型，降低对内存的占用。
- 记得把 weight dtype 也设置为 fp8，降低对显存的使用。
建议：先关闭高清放大部分，等跑出来效果满意的图片后，再开启放大。

ComfyUI 简介：

是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI，可以想象成集成了 stable diffusion 功能的 substance designer，通过将 stable diffusion 的流程拆分成节点，实现更加精准的工作流定制和完善的可复现性。
优势：
- 对显存要求相对较低，启动速度快，出图速度快。
- 具有更高的生成自由度。
- 可以和 webui 共享环境和模型。
- 可以搭建自己的工作流程，可以导出流程并分享给别人，报错的时候能清晰发现错误出在哪一步。
- 生成的图片拖进后会还原整个工作流程，模型也会选择好。
劣势：
- 操作门槛高，需要有清晰的逻辑。
- 生态没有 webui 多（常用的都有），也有一些针对 Comfyui 开发的有趣插件。
官方链接：从 github 上下载作者部署好环境和依赖的整合包，按照官方文档安装即可：https://github.com/comfyanonymous/ComfyUI

Content generated by AI large model, please carefully verify (powered by aily)

References

这个方法的目的是让FLUX模型能在较低的显存情况下也能运行.分阶段处理的思路:1.使用Flux模型进行初始生成，在较低分辨率下工作以提高效率2.采用两阶段处理：先用Flux生成，后用SDXL放大，效控制显存的使用3.使用SD放大提升图片质量工作流的流程:初始图像生成（Flux）:UNETLoader:加载flux1-dev.sft模型DualCLIPLoader:加载t5xxl和clip_l模型VAELoader:加载flux-ae.sftCLIPTextEncode:处理输入提示词BasicGuider和RandomNoise:生成初始噪声和引导SamplerCustomAdvanced:使用Flux模型生成初始图像VAEDecode:解码生成的潜在图像初始图像预览:PreviewImage:显示Flux生成的初始图像图像放大和细化（SDXL）:CheckpointLoaderSimple:加载SDXL模型(fenrisxl_SDXLLightning.safetensors)UpscaleModelLoader:加载RealESRGAN_x4.pth用于放大VAELoader:加载sdxl_vae.safetensorsImageSharpen:对初始图像进行锐化处理UltimateSDUpscale:使用SDXL模型和放大模型进行最终的放大和细化最终图像预览:PreviewImage:显示最终放大和细化后的图像

ComfyUI FLUX低显存运行

FLUX模型用的半精度fp8 dev版本(能用单精度dev版本的尽量用),另外也同时适合fp8的T8模型,来降低对内存的占用.记得,可以把weight dtype也设置为fp8,这能降低对显存的使用.[heading3]建议[content]先闭关高清放大部分,等跑出来效果满意的图片后,再开启放大

问：ComfyUI 是什么？

ComfyUI是一个基于节点流程式的stable diffusion AI绘图工具WebUI，你可以把它想象成集成了stable diffusion功能的substance designer，通过将stable diffusion的流程拆分成节点，实现了更加精准的工作流定制和完善的可复现性。[heading2]优劣势[content]优势：1.对显存要求相对较低，启动速度快，出图速度快；2.具有更高的生成自由度；3.可以和webui共享环境和模型；4.可以搭建自己的工作流程，可以导出流程并分享给别人，报错的时候也能清晰的发现错误出在哪一步；5.生成的图片拖进后会还原整个工作流程，模型也会选择好。劣势：1.操作门槛高，需要有清晰的逻辑；2.生态没有webui多（常用的都有），也有一些针对Comfyui开发的有趣插件。[heading2]官方链接[content]从github上下载作者部署好环境和依赖的整合包，按照官方文档按照即可：https://github.com/comfyanonymous/ComfyUI[heading2]截图示例[heading2]延伸阅读：[content]内容由AI大模型生成，请仔细甄别。