Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

comfyui中deforum

Answer

ComfyUI 中的 Deforum 相关知识如下:

  • 生图原理:
    • Denoising U-Net(去噪 U-Net 结构):ComfyUI 底层依赖 Stable Diffusion,去噪过程由 U-Net 网络完成。U-Net 是编码器-解码器结构,能处理多尺度特征表示。在 ComfyUI 中,去噪的每个步骤通过模型推理模块实现,调用训练好的 U-Net 模型逐步将噪声图像还原成有意义的图像。
    • Cross Attention(交叉注意力):在 Stable Diffusion 中很重要,允许模型在生成过程中融入文本提示、图像、语义信息等条件。在 ComfyUI 中通过“文本提示”和“条件输入”节点实现,其可视化界面可调整交叉注意力机制中的参数,如文本提示的权重,直接影响生成图像的内容。
    • Skip Connection(跳跃连接):是 U-Net 的核心部分,能在不同尺度之间共享特征,在 ComfyUI 的节点网络中表现为中间过程数据的流转,可查看中间生成结果并通过跳跃连接调整特定尺度上的生成效果。
    • Switch(切换器):在图中代表去噪过程中不同阶段对特征流的控制,在 ComfyUI 中可通过修改模型的参数节点或自定义网络结构节点,对不同阶段的噪声去除策略进行微调。

FizzleDorf 的 Deforum 指南:

  • 这是 Automatic1111 Webui 中 Deforum 扩展的功能和设置的概述。如果在 Google Colab 中使用笔记本,可使用guide获取控制概述(对 A1111 用户也是很好的参考)。安装并重启后,Webui 中有单独的标签页,其中 Deforum 的每个部分都有另一组标签。作者将对控制、参数和用途进行细分介绍。对比视频由 hithereai 创建,更多技术、工作流程和资源(如掩码和设置文件)计划添加。参考https://github.com/deforum-art/deforum-for-automatic1111-webui/wiki/Animation-Video-Examples-Gallery
Content generated by AI large model, please carefully verify (powered by aily)

References

ComfyUI的生图原理 副本

U-Net模型:ComfyUI的底层依赖Stable Diffusion,而去噪过程是由U-Net网络来完成的。U-Net是一种编码器-解码器结构,能够处理多尺度的特征表示。在ComfyUI中,去噪的每个步骤通过模型推理模块实现,这个模块会调用训练好的U-Net模型,逐步将噪声图像还原成有意义的图像。Cross Attention(交叉注意力):交叉注意力机制在Stable Diffusion中尤为重要,它允许模型在生成过程中融入文本提示、图像、语义信息等条件。在ComfyUI中,这部分通过“文本提示”和“条件输入”节点实现。ComfyUI的可视化界面允许你调整和修改这些交叉注意力机制中的参数,例如文本提示的权重,这直接影响生成图像的内容。Skip Connection(跳跃连接):跳跃连接是U-Net的核心部分,能够在不同尺度之间共享特征。这在ComfyUI的节点网络中表示为中间过程数据的流转。例如,你可以在不同的推理步骤中查看中间生成结果,并通过跳跃连接调整特定尺度上的生成效果。Switch(切换器):在图中,切换器代表在去噪过程中的不同阶段对特征流的控制。在ComfyUI中,你可以通过修改模型的参数节点或自定义网络结构节点,对不同阶段的噪声去除策略进行微调。

FizzleDorf的 Deforum指南

This Page is an overview of the features and settings in the Deforum extension for the Automatic1111 Webui.If you are using the notebook in Google Colab,use this[guide](https://docs.google.com/document/d/1pEobUknMFMkn8F5TMsv8qRzamXX_75BShMMXV8IFslI/edit)for the overview of controls(This is also a good alternate reference for A1111 users as well).The Extension has a separate tab in the Webui after you install and restart.In it,there is another set of tabs for each section of Deforum.I'll be giving a breakdown of the controls,parameters and uses.Comparison videos were created by hithereai,thanks for putting together these great examples![https://github.com/deforum-art/deforum-for-automatic1111-webui/wiki/Animation-Video-Examples-Gallery](https://github.com/deforum-art/deforum-for-automatic1111-webui/wiki/Animation-Video-Examples-Gallery)I plan on adding techniques,more workflows and resources like masks and settings files.

FizzleDorf的 Deforum指南

This Page is an overview of the features and settings in the Deforum extension for the Automatic1111 Webui.If you are using the notebook in Google Colab,use this[guide](https://docs.google.com/document/d/1pEobUknMFMkn8F5TMsv8qRzamXX_75BShMMXV8IFslI/edit)for the overview of controls(This is also a good alternate reference for A1111 users as well).The Extension has a separate tab in the Webui after you install and restart.In it,there is another set of tabs for each section of Deforum.I'll be giving a breakdown of the controls,parameters and uses.Comparison videos were created by hithereai,thanks for putting together these great examples![https://github.com/deforum-art/deforum-for-automatic1111-webui/wiki/Animation-Video-Examples-Gallery](https://github.com/deforum-art/deforum-for-automatic1111-webui/wiki/Animation-Video-Examples-Gallery)I plan on adding techniques,more workflows and resources like masks and settings files.

Others are asking
comfyui工作流
ComfyUI 工作流主要包括以下内容: FLUX 低显存运行工作流:目的是让 FLUX 模型能在较低的显存情况下运行。分阶段处理思路为:先在较低分辨率下使用 Flux 模型进行初始生成,然后采用两阶段处理,即先用 Flux 生成,后用 SDXL 放大,有效控制显存的使用,最后使用 SD 放大提升图片质量。工作流的流程包括初始图像生成(Flux)的一系列操作,如加载相关模型、处理输入提示词、生成初始噪声和引导等,以及初始图像预览;图像放大和细化(SDXL)的一系列操作,如加载 SDXL 模型、对初始图像进行锐化处理等,还有最终图像预览。 工作流网站: “老牌”workflow 网站 Openart.ai:https://openart.ai/workflows/ 。流量比较高,支持上传、下载、在线生成,免费账户总共有 50 个积分,加入 Discord 可以再加 100 积分,开通最低的每个月 6 美元的套餐后,每个月会有 5000 积分。 ComfyWorkflows 网站:https://comfyworkflows.com/cloud 。支持在线运行工作流,从 workflow 的实际下载量和访问量来看,略少于 openart。 Flowt.ai:https://flowt.ai/community 。 绿幕工作流:包含两个组,即生成绿幕素材和绿幕素材抠图。因为 SD 无法直接生成透明背景的 png 图片,所以要先生成一张素材图,前景是重要的主体素材,背景是纯色(方便识别),选择绿幕是为了方便抠图。工作流文件可通过链接 https://pan.quark.cn/s/01eae57419ce 提取(提取码:KxgB),下载拖入 ComfyUI 中自动加载工作流进行学习。
2025-04-14
ComfyUI
ComfyUI 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI,类似于集成了 stable diffusion 功能的 substance designer,通过将 stable diffusion 的流程拆分成节点,实现了更精准的工作流定制和完善的可复现性。 其优势包括: 1. 对显存要求相对较低,启动速度快,出图速度快。 2. 具有更高的生成自由度。 3. 可以和 webui 共享环境和模型。 4. 可以搭建自己的工作流程,可以导出流程并分享给别人,报错时能清晰发现错误所在步骤。 5. 生成的图片拖进后会还原整个工作流程,模型也会选择好。 劣势有: 1. 操作门槛高,需要有清晰的逻辑。 2. 生态没有 webui 多(常用的都有),也有一些针对 Comfyui 开发的有趣插件。 官方链接:从 github 上下载作者部署好环境和依赖的整合包,按照官方文档按照即可:https://github.com/comfyanonymous/ComfyUI 。 安装部署方面: 1. 地址:https://github.com/comfyanonymous/ComfyUI ,可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git ,或者下载安装包 file:ComfyUI.zip ,下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动。启动完成即进入基础界面。 2. 节点存放目录:comfyUI 的节点包括后面安装的拓展节点都存放在本目录下 D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 。 3. 模型存放目录: 大模型:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints 。 Lora:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras 。 Vae:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 。 4. 模型共用:已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可,这样就不用重复下载模型了。找到已安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件,将后缀.example 删除,然后右键用记事本打开。 此外,还可以直接在 Comfy UI 中训练 LoRA 模型。
2025-04-14
comfyui
ComfyUI 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI,可想象成集成了 stable diffusion 功能的 substance designer,将 stable diffusion 流程拆分成节点,实现更精准工作流定制和完善的可复现性。 其优势包括: 1. 对显存要求相对较低,启动和出图速度快。 2. 生成自由度更高。 3. 可以和 webui 共享环境和模型。 4. 能搭建自己的工作流程,可导出流程并分享,报错时能清晰发现错误所在。 5. 生成的图片拖进后会还原整个工作流程,模型也会选择好。 劣势有: 1. 操作门槛高,需要有清晰逻辑。 2. 生态没有 webui 多(但常用的都有),也有一些针对 Comfyui 开发的有趣插件。 官方链接:https://github.com/comfyanonymous/ComfyUI 。 安装部署方面: 1. 地址:https://github.com/comfyanonymous/ComfyUI ,可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git ,或者下载安装包 file:ComfyUI.zip ,下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动,启动完成即进入基础界面。 2. 节点存放目录:comfyUI 的节点包括后面安装的拓展节点都存放在 D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 。 3. 模型存放目录: 大模型:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints 。 Lora:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras 。 Vae:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 。 4. 模型共用:已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型,找到已安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件,将后缀.example 删除,然后右键用记事本打开。 此外,还可以直接在 Comfy UI 中训练 LoRA 模型。默认情况下,训练结果直接保存在 ComfyUI lora 文件夹中,训练后只需刷新并选择 LoRA 就可以测试。
2025-04-13
comfyui漫画工作流
ComfyUI 漫画工作流包含以下内容: 1. 绿幕工作流:包含两个组,即生成绿幕素材和绿幕素材抠图。因为 SD 无法直接生成透明背景的 png 图片,所以要先生成一张素材图,前景是重要的主体素材,背景为纯色(方便识别),选择绿幕是为了便于抠图。工作流文件链接:https://pan.quark.cn/s/01eae57419ce 提取码:KxgB 2. 动画工作流: 啊朔提供的动画工作流文件,如:
2025-04-13
comfyui动画片工作流怎么构建
构建 ComfyUI 动画片工作流的步骤如下: 1. 打开 Comfyui 界面后,右键点击界面,找到 Comfyui LLM party 的目录。您可以学习手动连接节点来实现最简单的 AI 女友工作流,也可以将工作流文件拖拽到 Comfyui 界面中一键复刻提示词工程实验。 2. 从 ollama 的 github 仓库找到对应版本并下载。启动 ollama 后,在 cmd 中输入 ollama run gemma2 将自动下载 gemma2 模型到本地并启动。将 ollama 的默认 base URL=http://127.0.0.1:11434/v1/以及 api_key=ollama 填入 LLM 加载器节点即可调用 ollama 中的模型进行实验。 3. 若 ollama 连接不上,很可能是代理服务器的问题,请将 127.0.0.1:11434 添加到不使用代理服务器的列表中。 此外,还有以下相关工作流搭建的信息供您参考: 1. 搭建艺术二维码工作流:打开 ComfyUI 导入相应工作流。工作流所用到的节点包括大模型节点(可选择如 AWPainting、primemixanything、xxmix9realistic v40 等,并提供了相应链接)、关键词节点、Lora 节点、ControlNet 节点(选用 qrcode_monster V2 版本,下载链接:https://huggingface.co/monsterlabs/control_v1p_sd15_qrcode_monster/tree/main/v2 )、采样器节点(Step 选择高步数,35 50 即可,采样器默认的 euler a/dpmpp 2m sde )。 2. 搭建 ComfyUI 基础工作流:从零开始搭建时,首先准备加载大模型的节点,在工作区鼠标右键点击,选择 Add Node > 选择 loaders > 选择 Load Checkpoint,并选择对应的模型。然后加载 Conditioning(条件),在工作区鼠标右键点击,选择 Add Node > 选择 Conditioning > 选择 CLIP TEXT Encode,输入正反向提示词。添加采样器时,部分参数设置与 WEB_UI 有所不同,如 seed 值只有固定、随机、每次增加、每次减少这四个选项,采样器和调度器是分开的。
2025-04-13
comfyui如何本地安装
以下是在本地安装 ComfyUI 的详细步骤: 安装方式有两种,分别是安装到本地和安装到云端。本部分主要介绍本地安装方法。 本地安装方法: 1. 命令行安装: 这是普适性最强的方法,安装后二次遇到问题的概率相对较低,但对于不熟悉命令行以及代码的用户来说,可能会有一定的门槛。 ComfyUI 的源码地址在:https://github.com/comfyanonymous/ComfyUI ,安装方法写在了 Readme 中。您也可以按照 Readme 文档进行操作。 如果会 Git 请在 Terminal 运行以下代码: 如果不会用 Git,推荐使用 Github 的客户端(https://desktop.github.com/)拉代码。 下载并安装好 Github Desktop 后,打开该应用。 然后打开 ComfyUI 的 Github 页面(https://github.com/comfyanonymous/ComfyUI),点击右上角的绿色按钮,并点击菜单里的「Open with GitHub Desktop」,此时浏览器会弹出是否要打开 GitHub Desktop,点击「是」。 GitHub Desktop 会让您选择一个保存位置,按需调整,然后点击确定。看到下方特定界面,意味着完成了代码同步。 2. 安装包安装: 这种方法安装比较简单,下载就能用。 ComfyUI 的官方安装包:目前仅支持 Windows 系统,且显卡必须是 Nivida。下载地址是:https://github.com/comfyanonymous/ComfyUI/releases ,只需下载最新的版本,解压就能使用。 安装完成后: 1. 节点存放目录:comfyUI 的节点包括后面安装的拓展节点都存放在本目录下:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 2. 模型存放目录: 大模型:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints Lora:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras Vae:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 3. 模型共用:已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可,这样就不用重复下载模型了。找到您已经安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件,将后缀.example 删除,然后右键用记事本打开。 希望以上内容对您有所帮助。
2025-04-10
deforum中初始化视频路径的格式?
在 deforum 中,初始化视频路径的格式如下: |Parameter|Description| ||| |video_init_path|Path to the input video. This can also be a URL as seen by the default value.| |video_init_path|Path to the video you want to diffuse. Can't use a URL like init_image|
2024-10-18
deforum中初始化为什么不能以视频路径的视频进行风格转变?而是随机生成新视频?是哪里出现了问题?
很抱歉,目前知识库中没有关于“deforum 中初始化不能以视频路径的视频进行风格转变,而是随机生成新视频的原因及问题所在”的相关内容。但一般来说,出现这种情况可能是由于以下原因: 1. 视频格式或编码不兼容:deforum 可能不支持您所提供的视频的特定格式或编码方式。 2. 参数设置错误:可能在初始化过程中的某些参数设置不正确,导致无法按照预期使用指定视频进行风格转变。 3. 软件版本问题:您使用的 deforum 版本可能存在缺陷或不具备该功能。 建议您检查视频格式和编码,确认参数设置是否正确,并尝试更新到最新版本的 deforum 以查看是否能解决问题。
2024-10-18