ControlNet是什么？

ControlNet 是一种在 AI 绘画领域具有重要作用的神经网络模型，由斯坦福大学张吕敏发布。它与预训练的图像扩散模型（如 Stable Diffusion）结合使用，通过引入额外的条件输入来实现对 AI 绘画生成过程的精细控制。 其最大的特点和优势在于： 1. 无论是文生图还是图生图，当需要更细化地控制构图、轮廓、形象姿态、色彩风格等方面时，ControlNet 发挥了强大的作用，让输出结果能更好地被控制。 2. 工作逻辑是通过预处理器将图片提取特征，并转换为 AI 可识别的形式，再通过模型将预处理器的结果进行图像生成。预处理器就如同人和 ControlNet 之间的翻译软件。 3. 其应用广泛，不仅限于 AI 绘画，还可用于图像编辑、风格迁移、图像超分辨率等多种计算机视觉任务，展现了在 AIGC 领域的广泛应用潜力。 关于 ControlNet 插件的安装，如果使用秋叶大佬的整合包，会自带这个插件。如果没有，可以去扩展中搜索 ControlNet 进行安装。安装完成后，即可看到其使用界面。 例如，想绘制一张女孩打篮球并模仿库里动作的图片，输入相关关键词，大模型选择 Toonyou 的二次元卡通风格，在 ControlNet 中导入库里的照片，预处理器选择 openpose，点击预处理器右侧的爆炸标志，可看到提炼出来的骨骼结构。使用同样名为 openpose 的模型，调试参数，点击生成。 在让照片中的小姐姐摆出指定姿势的操作中，首先正常填写大模型和关键词生成照片，接着鼠标滑到最下面点击“ControlNet”，然后上传指定姿势的照片并点击“启用”，在“预处理器”和“模型”里选择“openpose”，点击“预览预处理结果”，最后点击生成照片即可。

Stable Diffusion 相关信息： Stable Diffusion 3.5 已发布，我们对安全高度重视并采取措施防止不良行为者滥用。10 月 29 日将公开发布 Stable Diffusion 3.5 Medium，ControlNets 也将推出，为各种专业用例提供先进的控制功能。 ControlNet 允许通过线稿、动作识别、深度信息等对生成的图像进行控制。使用前需确保 ControlNet 设置下的路径与本地 Stable Diffusion 的路径同步。基本流程包括点击 Enable 启用该项 ControlNet，选择合适的 Preprocessor、调整 Weight 和 Guidance strength 等，还有一些特殊设置如 Invert Input Color、RGB to BGR、Low VRAM、Guess Mode 等。 用 Stable Diffusion 装饰二维码的方法：首先使用 img2img 生成类似于 QR 码的图像，在采样步骤中打开 ControlNet 以将 QR 码压印到图像上，在采样步骤接近尾声时关闭 ControlNet 以提高图像的一致性。具体步骤包括选择检查点模型、输入提示和否定提示、上传二维码到 img2img 画布、设置图像到图像的相关参数、将二维码上传到 ControlNet 的图像画布并设置 ControlNet 的相关参数，最后按生成并用手机查看二维码。

ControlNet 是一种由斯坦福大学张吕敏发布的神经网络模型，常与预训练的图像扩散模型（如 Stable Diffusion）结合，通过引入如涂鸦、边缘图等多种类型的额外条件输入来控制 AI 绘画生成过程，其工作原理是在 Stable Diffusion 模型中添加辅助模块，实现对生成图像的精细控制，还具有训练鲁棒性、兼容性与迁移能力，不仅用于 AI 绘画，还可用于图像编辑等多种计算机视觉任务。使用时需注意相关设置和安装，如确保路径同步、选择合适的预处理器和模型等。

ControlNet 是一种由斯坦福大学张吕敏发布的神经网络模型，常与预训练的图像扩散模型如 Stable Diffusion 结合使用，用于控制 AI 绘画的生成过程。 其工作原理是将 Stable Diffusion 模型的权重复制到 ControlNet 的可训练副本中，并利用外部条件向量训练副本。条件输入类型多样，如涂鸦、边缘图、姿势关键点、深度图、分割图、法线图等，以此指导生成图像的内容。 ControlNet 具有以下特点和优势： 1. 设计思想提供了训练过程中的鲁棒性，避免过度拟合，允许在小规模甚至个人设备上训练。 2. 架构具有强大的兼容性与迁移能力，可用于其他扩散模型，增强图像生成的多样性和可控性。 其应用不仅限于 AI 绘画，还可用于图像编辑、风格迁移、图像超分辨率等多种计算机视觉任务，展现出在 AIGC 领域的广泛应用潜力。 在使用方面，如在 Stable Diffusion 中，无论是文生图还是图生图，ControlNet 能实现更细化的控制，如构图、轮廓、形象姿态、色彩风格等。使用逻辑是通过预处理器将图片提取特征并转换为 AI 可识别的形式，再通过模型进行图像生成。预处理器如同“翻译软件”。例如绘制女孩模仿库里打篮球的图片，输入关键词和选择相应预处理器、模型等操作后即可生成。 在 Stable Diffusion 中使用 ControlNet 时，要注意一些设置，如确保 ControlNet 设置下的路径与本地 Stable Diffusion 的路径同步。基本流程包括点击 Enable 启用，选择预处理器，调整权重、控制生成步骤、反色模式等，还需根据情况选择合适的模型。

以下是关于 ControlNet 的教程： ControlNet 是 Stable Diffusion 中的一个功能，能够让用户更精确地控制出图结果。比如可以控制人物的动作、建筑物的线条等。 在使用时，大模型和关键词正常填写生成所需照片。然后鼠标滑到最下面点击“ControlNet”： 1. 点击空白处上传指定姿势的照片。 2. 点击“启用”。 3. 在“预处理器”和“模型”里选择“openpose”，这用于让计算机识别人物姿势。 接着点击“预览预处理结果”，原照片右边会出现人物姿势的线条，最后点击生成照片即可得到指定姿势的图片。 另外，如果是用秋叶大佬的整合包，会自带 ControlNet 插件。若没有，可去扩展中搜索安装。 其使用逻辑是通过预处理器将图片提取特征并转换为 AI 可识别的形式，再通过模型进行图像生成。例如绘制女孩打篮球模仿库里动作的图片，输入相关关键词，选择大模型，在 ControlNet 中导入库里照片，选择合适的预处理器和模型，调试参数后生成。 在 ControlNet 中还可以尝试不同的预处理器，如 softedge_pidinet、depth、canny、tile 等，可能会得到不错的效果。同时要注意电脑配置，避免出现显存不足等问题。

ControlNet 是一种由斯坦福大学张吕敏发布的神经网络模型，常与预训练的图像扩散模型（如 Stable Diffusion）结合使用。 其重要作用包括： 1. 实现对 AI 绘画生成过程的精细控制，通过引入如涂鸦、边缘图、姿势关键点、深度图、分割图、法线图等多种类型的额外条件输入来指导生成图像的内容。 2. 工作原理是将 Stable Diffusion 模型的权重复制到 ControlNet 的可训练副本中，并使用外部条件向量训练副本，在不破坏原模型能力的前提下，通过小批量数据集训练实现对特定条件的学习。 3. 设计思想提供了训练过程的鲁棒性，避免过度拟合，允许在小规模甚至个人设备上训练，架构具有强大的兼容性与迁移能力，可用于其他扩散模型，增强图像生成的多样性和可控性。 4. 应用不限于 AI 绘画，还可用于图像编辑、风格迁移、图像超分辨率等多种计算机视觉任务，展现了在 AIGC 领域的广泛应用潜力。 在 Stable Diffusion 中，ControlNet 带来的最大改变是让输出结果能更好地被控制。其使用逻辑是通过预处理器将图片提取特征并转换为 AI 可识别的形式，再通过模型进行图像生成。在使用时，如启用 ControlNet 需点击 Enable，Preprocessor 指预处理器，Weight 可调整其在合成中的影响权重，Guidance strength 控制图像生成的前百分之多少步由 ControlNet 主导生成，Invert Input Color 可启动反色模式，RGB to BGR 可反转输入色彩通道信息，Low VRAM 为低显存优化，Guess Mode 为无提示词模式。同时，Model 中选择的解析模型应与输入图像或预处理器对应。