ipadapter的作用是什么,能实现人物的一致性吗？比如参考人物的脸部特征

以下是针对您所遇到的报错问题的一些解决建议： 1. 对于 ipadater 部分报错说 model 不存在的情况，将文中画圈部分修改调整到不报错。Pulid 部分，除了下载好对应的节点以及参考官方网站最下面的安装对应要求外，还要注意上图中的第二要点，对应安装一些内容，具体要求可查看云盘中命名为“pulid 插件模型位置.png”的文件及对应的云盘链接：PulID 全套模型，链接:https://pan.baidu.com/s/1ami4FA4w9mjuAsPK49kMAw?pwd=y6hb，提取码:y6hb。否则将会遇到报错：Error occurred when executing PulidEvaClipLoader。 2. 对于 Ollama 大模型部分，为了应对没下载大模型带来的报错，需要下载大模型。首先，下载 ollama，网站： 。 3. 如果缺少 ipadapter 的模型，可去这个网址下载：https://github.com/cubiq/ComfyUI_IPAdapter_plus 。如果遇到“Error occurred when executing IPAdapterUnifiedLoader:ClipVision model not found.......”类似的报错，可在这个网址里找到多个关于 IPAdapter 报错的解决办法：https://github.com/cubiq/ComfyUI_IPAdapter_plus/issues/313 。 另外，换脸工作流的核心组件是 Apply InstantID Advanced 节点，这个节点的作用就是将源人脸替换到目标图像中。其中，instantID 模型擅长提取图片的高层次特征，包括面部的纹理信息、几何结构、风格特征等，在图中例子是 IPAdpater，用于识别和保留目标图像 image_kps 的风格并迁移到生成图像中。instantID Face Analysis 节点用于提取人脸五官的特征向量，作用是使生成图像时，人脸的眼睛、鼻子、嘴巴等样子仍然符合源人脸 image 的特征。controlnet 模型的作用是识别目标图像 image_kps 的低层次特征，包括骨架、姿势、边缘、结构。controlnet 模型和 instantID 模型起到不同的控制作用，结合使用可以达到将源人脸的五官替换目标图像中五官的效果。

要改变照片中人物的表情，可以通过以下几种方式： 1. 在使用 SD 脸部修复插件 After Detailer 时，输入如“伤心、流泪”这样针对表情的正负提示词，人物的表情会进行相应改变。但输入“带着墨镜”可能没有效果。 2. 使用 Magic Brush 工具，选中人物的眉毛、眼睛、嘴唇等部位，通过调节轨迹的方向来实现合理的表情变化。 3. 在 Midjourney V6 中，若遇到无法改变角色脸部等问题，可按照以下步骤排除故障：首先确保写了强有力的提示以建议新的姿势、风格或细节；若角色抗拒被操纵，可能是 cref 图像支配了提示，可通过使用 cw进行处理，尝试将提示与较低的 cref 权重一起使用，如 cw 60，按照特定步骤操作，还可考虑使用 来恢复面部区域。

以下是为您推荐的一些用于视频二创，如更换视频背景、人物衣服的相关 AI 工具： 1. 山寨版阿里 Animate Anyone 开源：利用图像和视频中的人物姿势来合成动画。Novita AI 开源并提供 API 支持，提供照片和视频即可自动生成动画。 GitHub：https://github.com/novitalabs/AnimateAnyone API：https://novita.ai/playgroundanimateanyone https://x.com/imxiaohu/status/1796191458052944072 2. ViViD 视频虚拟试穿技术：由阿里巴巴开发，可以替换视频中人物的衣服，生成真实自然的视频，支持多种服装类型，在视觉质量、时间一致性和细节保留方面表现优异。 https://x.com/imxiaohu/status/1796019244678906340 3. 在进行视频二创时，若需要更精确的蒙版，比如人物的眼睛或身上的配饰等，可以使用 segment anything 中的 GroundingDINO。启用 GroundingDINO 后，AI 会自动下载模型，也可在没有魔法的情况下到云盘直接下载，放到指定文件目录下“……sdwebuiakiv4.2\\extensions\\sdwebuisegmentanything\\models\\groundingdino”。在检测提示词中输入相关内容，AI 可根据语义分割自动检测并设置好蒙版。还能通过预览箱体得到部分编号进行单一调整。比如给人物换背景时，加载生成的背景蒙版，选择合适的大模型和正向提示词，蒙版模式选择“重绘非蒙版内容”，若有需要还可进行后续细化和 PS 修复。

要让一张卡通人物动起来，可以参考以下几种方法： 1. 使用 AnimateX ：类似 Animate Anyone，输入角色图片和参考动作序列，即可实现角色动画，尤其适配拟人化的角色。 2. 借助 Pika ： 账号注册：访问完成免费注册。 素材整理： 视频：准备一段视频，可手机实拍，≥5 秒，生成时会自动截取前 5 秒，横屏/竖屏均可（建议 1080p 以上）。 图片：准备一张主体清晰无遮挡的角色图片，生成的视频中将参考此图片的角色并融入视频。 文案思路：提前构思角色动态关键词（如“奔跑/挥手/发光”），也可让模型自由发挥。 3. 运用即梦进行图生视频：只需上传图片至视频生成模块，用简单提示词描绘画面中的动态内容，能生成时长为 3 秒钟的画面，运镜类型可根据剧本中的镜头描绘设置，以随机运镜为主，生成速度可选择慢速。 此外，在制作过程中，还可以像桂大羊的教程那样，通过描绘人物的提示词、上传角色参考图、扣除角色背景以便于进行角色加背景的融合生成时进行垫图操作等方式，提高人物和场景的融合度。

Midjourney 的角色一致性功能： 功能介绍：类似于“风格参考”功能，尝试使人物与“人物参考”图像相匹配。 使用方法：在提示词后输入`cref URL`并附上一个人物图像的 URL。需注意一定要在提示词后面，否则会报错。可以使用`cw`来修改参考“强度”，从 100 到 0。强度 100（`cw 100`）是默认值，会使用面部、头发和衣服；强度 0（`cw 0`）时，只会关注面部（适合改变服装/发型等）。 实际效果：例如以甜茶或小公主的图片为案例，不同的强度参数下，发型、衣服等会有相应变化。 相关优势：能节省工期，提升生产管线的可控性。 其他应用：利用 MJ 重绘功能，在重绘提示词里输入`cref cw`保证角色一致性。对于生成图中的黑边，可框住黑边部分重绘输入关键词“background”去除，保证背景一致。 体验网址：MJ 的网页版体验较好，网址为 https://alpha.midjourney.com/

以下是关于图片生成人物衣服的一些提示词相关内容： 在使用 Segment Anything 时，启用 GroundingDINO 可自动下载模型，将其放到特定文件目录下，在检测提示词中输入相关内容，如“eye”，可自动检测并设置蒙版。通过预览箱体获取编号，可选择调整单一部分。例如，只想调整左边眼睛，勾选 1 即可。还可给人物换背景，如大模型选择 revAnimated_v122，正向提示词为简单背景、花、国画、工笔，蒙版模式选择“重绘非蒙版内容”。将生成的图片放入图生图中，使用 tile 模型能给人物衣服添加国风元素。 设置模型和提示词时，例如大模型为 ghostmix_v20Bakedvae，正向提示词包含人物特征、服饰等描述，负向提示词包含 EasyNegative、badhandsv5neg 等。生成图片后可进行细节微调。 使用 cutoff 插件时，点击启用后按提示词顺序依次填入颜色提示词，中间用逗号分开，能准确显示颜色。如创建双人物构图，设置好人物形象和提示词，先在不开启插件时生成图片可能有颜色污染，开启插件并输入颜色信息后能保证颜色与提示词的关联性。

以下为您介绍一些可以免费驱动 AI 人物形象当做数字人进行口播的工具及使用方法： 1. HEYGEN： 优点：人物灵活，五官自然，视频生成很快。 缺点：中文的人声选择较少。 使用方法： 点击网址注册后，进入数字人制作，选择 Photo Avatar 上传自己的照片。 上传后效果如图所示，My Avatar 处显示上传的照片。 点开大图后，点击 Create with AI Studio，进入数字人制作。 写上视频文案并选择配音音色，也可以自行上传音频。 最后点击 Submit，就可以得到一段数字人视频。 2. DID： 优点：制作简单，人物灵活。 缺点：为了防止侵权，免费版下载后有水印。 使用方法： 点击网址，点击右上角的 Create vedio。 选择人物形象，可以点击 ADD 添加您的照片，或者使用 DID 给出的人物形象。 配音时，可以选择提供文字选择音色，或者直接上传一段音频。 最后，点击 Generate vedio 就可以生成一段视频。 打开自己生成的视频，可以下载或者直接分享给朋友。 3. KreadoAI： 优点：免费（对于普通娱乐玩家很重要），功能齐全。 缺点：音色很 AI。 使用方法： 点击网址，注册后获得 120 免费 k 币，这里选择“照片数字人口播”的功能。 点击开始创作，选择自定义照片。 配音时，可以选择提供文字选择音色，或者直接上传一段音频。 打开绿幕按钮，点击背景，可以添加背景图。 最后，点击生成视频。 4. 剪映： 优势：作为字节跳动旗下的产品，在抖音平台上被广泛应用，海外版 CapCut 也有出色表现。其拥有六大 AI 功能，能在编辑器里完成脚本生成、语音克隆、数字人口播等环节。 下载地址：剪映 制作流程： 打开剪映，添加一个文本到文字轨道，并修改好需要朗读的文字。 点击朗读，并进行声音克隆，剪映的声音克隆现在只用念一句话就可以完成克隆。 克隆完成后，选择喜欢的数字人形象，并把自己的克隆音色换上去。 一键智能生成字幕，再自行调整文字样式并校准。 生成数字人： 在剪映右侧窗口顶部，打开“数字人”选项，选取一位免费的、适合的数字人形象。 当选择一个数字人形象时，软件会马上播放出该数字人的声音。点击右下角的“添加数字人”，就会将选择的数字人添加到当前视频中。 左下角会提示渲染何时完成。然后可以点击预览按钮，查看生成的数字人效果。 增加背景图片： 可以直接删除先前导入的文本内容。 为视频增加背景图片，点击左上角的“媒体”菜单，并点击“导入”按钮，来选择本地的一张图片上传。 点击图片右下角的加号，将图片添加到视频的轨道上（会覆盖数字人）。 点击轨道最右侧的竖线，向右拖拽，直到视频的最后，也就是和视频对齐。

以下是关于星流 AI 人物一致性的相关内容： 在实现角色一致性方面，有以下几种方法和示例： 1. 可以通过特定的 prompt 格式来实现，公式为：发型+年龄性别+衣物颜色+环境+其他（动作、镜头等）。例如： 特写一个棕色卷发，身穿棕褐色上衣的小男孩，正对镜头，面部被烛光照亮，表情惊讶，环境昏暗明暗对比强烈。 特写一个棕色卷发，身穿棕褐色上衣的小男孩，侧对镜头，微微仰头走在一片暗绿色的森林中，面部被手中提着的油灯照亮，环境昏暗明暗对比强烈。 一个棕色卷发，身穿棕褐色上衣的小男孩侧对镜头，看着面前桌上的蜡烛，环境昏暗明暗对比强烈。 中景拍摄一个棕色卷发，身穿棕褐色上衣的小男孩，正对镜头，在一个梦幻感的暖色调房间里，全身贯注地拼装面前的积木玩具。 2. Midjourney 推出了角色一致性功能，同步支持 MJ V6 和 Niji V6。跟之前的风格一致性sref 命名基本一致，为cref。cref 背后参数cw 的值可以从 0 设到 100，cw 100 会参考原图的脸部、头发和衣服，但相应的会非常不吃 Prompt；cw 0 时，就只会参考脸部，大概约等于一个换脸。 3. PixVerse 有“角色（Character）”新功能，能实现 AI 生成视频中的角色保持一致。用户只需单击“Character”功能，上传符合要求的图像，点击创建自定义角色，训练一个新角色，然后可使用自定义角色生成视频，可在 AI 生成视频中轻松切换场景，同时保持同一角色身份。该功能目前只支持真实人脸，暂不支持动物或其他风格照片。操作说明：在主页面点击选择“Character”，点击“Create Character”，在此界面通过点击或拖动的方式上传图片，命名您创建的 Character，最后点击“Create Cha”。提示：最好使用包含真实人脸的单人图片效果最佳，脸部大小需要超过 200×200px，面部无遮挡。Character 添加完毕后，等待 20 秒左右，在看到“Success”提示后，点击“Create”进。若未等到“Success”提示便进入创作界面，会找不到创建的 Character，此时需等待 10 30 秒，待 Character 创建完成即可。 相关网址： 1. 2. 3. Midjourney 网页版：https://alpha.midjourney.com/ 4. PixVerse：https://app.pixverse.ai/ （目前可以免费使用）

Midjourney 的角色一致性功能： 此功能是官方推出的重要功能，可使生成的人物与参考图像相匹配。 使用方法：在提示词后输入 `cref URL` 并附上人物图像的 URL。需注意一定要在提示词后面，否则会报错。 可使用 `cw` 来修改参考强度，从 0 到 100。强度 100（`cw 100`）是默认值，会使用面部、头发和衣服；强度 0（`cw 0`）时，只会关注面部（适合改变服装/发型等）。 该功能同步支持 MJ V6 和 Niji V6。 对于保证角色一致性，可利用 MJ 重绘功能，在重绘提示词里输入 `cref cw` 。 若有黑边问题，可将黑边部分框住，重绘输入关键词 `background` 去除黑边保证背景一致。 体验 MJ 网页版效果较好，网址：https://alpha.midjourney.com/

Comfy UI 九宫格生图保持人物一致性的原理主要基于 PuLID 技术，具体如下： PuLID 是一种用于在文本生成图像时自定义图像中人物或物体身份（ID）的新技术，它结合了两个不同的模型分支（Lightning T2I 分支和标准扩散模型），引入了两种损失（对比对齐损失和精确 ID 损失）。 Lightning T2I 分支是一个快速、高效的文本到图像生成模型。 标准扩散模型是常见的、生成高质量图像的模型。 对比对齐损失帮助模型学习将输入的文本和生成的图像内容对齐，使生成的图像更符合文本描述。 精确 ID 损失确保生成的图像中的特定身份特征（比如人物的脸部特征）与目标 ID 一致。 此外，在保持人物一致性方面，还有一些操作步骤： 生成图像（提示词加入分割描述，让一张图生成多张同空间小图）。 通过目标图像不断的重复生成，获取更多一致性的角色图像，下载分类（按照视角不同分类）。 上传图像，调用 prefer option set 命令，先写命令名称（一个视角操作一次），再放入该视角的照片（4 5 张）。 放开角色限制生成图像，在确认好的图像上进行局部重绘，框选头部，在原来的命令下加入—快捷命令名称，确认生成即可。 同时，Eva CLIP 也是相关的技术： Eva CLIP 是一种基于对比学习的视觉文本模型，将文本描述和图像内容映射到一个共享的嵌入空间。 对比学习架构：使用对比学习方法，将图像和文本嵌入到一个共享的空间，通过最大化匹配图像和文本对的相似度，同时最小化不匹配对的相似度，学习到图像和文本之间的关联。 强大的特征提取能力：编码器擅长提取图像中的细节特征，并将其转换为有意义的嵌入向量，用于下游任务。 多模态应用：能够处理图像和文本两种模态，广泛应用于多模态任务中，如生成、检索、标注等。 其应用场景包括图像生成、图像检索、图像标注等。Eva CLIP 编码器通常与深度神经网络结合使用，如卷积神经网络（CNN）用于图像特征提取，Transformer 网络用于处理文本描述。 项目地址：https://github.com/ToTheBeginning/PuLID 相关资源： instant ID 脸部特征抓取得比 pulid 好，放在最后一步重绘，先 pulid，再 instantID https://pan.baidu.com/s/1Tro9oQM85BEH7IQ8gVXKsg?pwd=cycy 工作流与模型地址：https://pan.quark.cn/s/2a4cd9bb3a6b 说明文档：https://xiaobot.net/post/6544b1e8 1d90 4373 94cf 0249d14c73c8 测试案例：

要在 ComfyUI 中保持人物一致性，可以通过以下方式实现： 1. PuLID 技术： PuLID 是一种用于在文本生成图像时自定义图像中人物或物体身份（ID）的新技术，无需复杂调整。 它结合了 Lightning T2I 分支和标准扩散模型两个不同的模型分支，并引入了对比对齐损失和精确 ID 损失两种损失，以确保在保持原始模型效果的同时，高精度地自定义 ID。 Lightning T2I 分支是快速、高效的文本到图像生成模型，标准扩散模型是常见的生成高质量图像的模型。 PuLID 可以让您在生成图像时更精确地定制人物或物体的身份，将特定 ID（例如人脸）嵌入到预训练的文本到图像模型中，而不会破坏模型的原始能力。 项目地址：https://github.com/ToTheBeginning/PuLID 相关资源： 百度网盘：https://pan.baidu.com/s/1Tro9oQM85BEH7IQ8gVXKsg?pwd=cycy 工作流与模型地址：https://pan.quark.cn/s/2a4cd9bb3a6b 说明文档：https://xiaobot.net/post/6544b1e81d90437394cf0249d14c73c8 instant ID 脸部特征抓取得比 PuLID 好，可放在最后一步重绘，先 PuLID，再 instantID。 2. 节点设置： 节点插件 PuLID ComfyUI：https://github.com/cubiq/PuLID_ComfyUI model：使用预训练的基础文本到图像扩散模型，如 Stable Diffusion。 pulid：加载的 PuLID 模型权重，定义 ID 信息如何插入基础模型。 eva_clip：用于从 ID 参考图像中编码面部特征的 EvaCLIP 模型。 face_analysis：使用 InsightFace 模型识别和裁剪 ID 参考图像中的面部。 image：提供的参考图像用于插入特定 ID。 method：选择 ID 插入方法，如“fidelity”（优先保真度）、“style”（保留生成风格）和“neutral”（平衡两者）。 weight：控制 ID 插入强度，范围为 0 到 5。 start_at 和 end_at：控制在去噪步骤的哪个阶段开始和停止应用 PuLID ID 插入。 attn_mask：此选项用于提供灰度掩码图像，以控制 ID 自定义的应用位置，但并不是必需输入，而是可选输入。 Advanced Node：提供了高级节点，可以通过调整 fidelity 滑块和 projection 选项进行更精细的生成调优。比如，ortho_v2 和 fidelity:8 等价于标准节点的 fidelity 方法，而 projection ortho 和 fidelity:16 等价于 style 方法。 此外，在 8 月 13 日的 ComfyUI 共学中也提到控制人物一致性有很多方法，课程后期会介绍。

Midjourney 的角色一致性功能： 此功能类似于“风格参考”，但尝试使人物与“人物参考”图像相匹配。 使用方法：在提示词后输入`cref URL`并附上一个人物图像的 URL。需注意一定要在提示词后面，否则会报错。 可以使用`cw`来修改参考“强度”，从 100 到 0。强度 100（`cw 100`）是默认值，会使用面部、头发和衣服；强度 0（`cw 0`）时，只会关注面部（适合改变服装/发型等）。 该功能同步支持 MJ V6 和 Niji V6。 对于保证角色一致性，可利用 MJ 重绘功能，在重绘提示词里输入`cref cw`。 若有黑边问题，可将黑边部分框住，重绘输入关键词“background”去除黑边，保证背景一致。 体验 MJ 网页版效果更佳，网址：https://alpha.midjourney.com/

以下是关于动漫脸部修复的相关内容： GFPGAN 面部修复： 找一张模糊人像进行修复，其他参数不变，直接将 GFPGAN 参数拉到 1 即可。面部修复效果显著，但只能修复脸部，头发、衣服、背景等无变化。 背景去除： 需要安装插件 REMBG，安装地址是 https://github.com/AUTOMATIC1111/stablediffusionwebuirembg.git 。安装好之后重启，就有选项框。 测试时模型选第一个 u2net，直接点击生成。抠图效果不错但边缘轮廓可能有黑边，用时 2.86 秒。 去掉黑边可点击后面的 Alpha matting 调整参数，如 Erode size：6、Foreground threshold：143、Background threshold：187，就能得到无黑边图像。 点击按钮还可直接生成蒙版。有专门做服装抠图和动漫抠图的模型。 手部修复： 对于动漫人物手部修复，先在 3D 骨架模型编辑器中手动调整还原骨架，若为写实人物可使用 openpose 预处理器进行姿态检测。 来到深度图库，修改尺寸并载入骨架图，选择合适手势添加，可发送到 controlnet。 启用 controlnet 时选择相应预处理器，在图生图中进行手部局部重绘，绘制蒙版，可一只手一只手调整，之后在 ps 中使用“创成式填充”修补衔接区域。 SD 新手入门图文教程中的相关内容： 放大算法中，Latent 在许多情况下效果不错，但重绘幅度小于 0.5 效果不佳，ESRGAN_4x、SwinR 4x 对 0.5 以下重绘幅度支持较好。 Hires step 表示进行这一步时计算的步数。 Denoising strength 表现为生成图片对原始输入图像内容的变化程度，一般阈值 0.7 左右，超过 0.7 与原图基本无关，0.3 以下稍作修改。 面部修复可修复人物面部，但非写实风格人物开启可能导致面部崩坏。

以下是关于脸部修复的相关内容： 在 Stable Diffusion 中，通常初始分辨率设为 512x512 以提高抽卡效率，但这样人脸易崩。确定人物姿态和构图后，可点击面部修复和高分辨率修复达到正常效果，但小图和大图存在差异，重绘幅度低无法修复细节错误，高则会导致人物发型、服装变化大。 GFPGAN 面部修复：其他参数不变，直接将 GFPGAN 参数拉到 1 即可。此功能只能修复脸部，头发、衣服、背景等无变化。 背景去除：需安装插件 REMBG，安装地址是 https://github.com/AUTOMATIC1111/stablediffusionwebuirembg.git 。安装好后重启，有选项框，模型选第一个 u2net 点击生成。抠图效果不错但有黑边，可通过点击 Alpha matting 调整参数（Erode size：6、Foreground threshold：143、Background threshold：187）去掉黑边，还能生成蒙版。有专门做服装和动漫抠图的模型。 脸部修复插件 After Detailer：安装方式可在扩展面板中搜索直接安装，或放在“……\\sdwebuiakiv4\\extensions”路径文件夹下。安装完成重启 webUI 会出现插件面板。使用时在启用“After Detailer”前打勾，下拉菜单中有很多模型，分别针对 2D 人物的脸、手、全身和真实人物的脸部修复。选择真人脸部模型，关掉“面部修复”和“高分辨率修复”，保持 512x512 尺寸测试，人物脸部正常，细节精致。插件有正负提示词输入框，输入表情相关文字人物表情会改变，如输入“伤心、流泪”，但输入“带着墨镜”无变化，提示词仅针对表情。插件的第二单元和 controlnet 一样有多通道，将第二单元模型换成 hand 模型可修复手部，但效果有待改善，可结合 PS 蒙版处理。