照片人物与虚拟人合成

以下是一些制作虚拟人的工具： 1. HeyGen：这是一个 AI 驱动的平台，能创建逼真的数字人脸和角色。它运用深度学习算法生成高质量的肖像和角色模型，适用于游戏、电影和虚拟现实等领域。 2. Synthesia：这是一个 AI 视频制作平台，允许用户创建虚拟角色并实现语音和口型同步。支持多种语言，可用于教育视频、营销内容和虚拟助手等场景。 3. DID：这是一家提供 AI 拟真人视频产品服务和开发的公司，只需上传人像照片和输入要说的内容，平台的 AI 语音机器人会自动转换成语音，然后合成逼真的会开口说话的视频。 此外，还有适合小白用户的开源数字人工具，具有一键安装包，无需配置环境，简单易用的特点。能生成数字人视频，支持语音合成和声音克隆，操作界面中英文可选，系统兼容 Windows、Linux、macOS，模型支持 MuseTalk（文本到语音）、CosyVoice（语音克隆）。您可以通过以下链接获取： GitHub： 官网： 更多数字人工具请访问网站查看：https://www.waytoagi.com/category/42 。请注意，这些工具的具体功能和可用性可能会随时间和技术发展而变化。在使用时，请确保遵守相关使用条款和隐私政策，并注意对生成内容的版权和伦理责任。

AI 虚拟人物和真实视频融合可能会用到以下工具： 1. HeyGen：这是一个 AI 驱动的平台，能创建逼真的数字人脸和角色，使用深度学习算法生成高质量肖像和角色模型，适用于游戏、电影和虚拟现实等。 2. Synthesia：AI 视频制作平台，允许创建虚拟角色并进行语音和口型同步，支持多种语言，可用于教育视频、营销内容和虚拟助手等场景。 3. DID：提供 AI 拟真人视频产品服务和开发，只需上传人像照片和输入内容，平台的 AI 语音机器人会自动转换成语音并合成逼真的会开口说话的视频。 此外，还有 Pika、Pixverse、Runway、SVD 等工具。Pika 对奇幻感强的画面把控较好，但真实环境画面易糊，新的唇形同步功能需抽卡；Pixverse 在高清化方面有优势，对特定物体移动的画面友好，但生成视频有帧率问题；Runway 在真实影像质感方面表现最佳，但爱变色且光影不稳定；SVD 整体表现略差，仅在风景片测试中表现较好。在实际使用中，可根据不同工具对画面的处理能力进行组合使用。 更多数字人工具请访问网站查看：https://www.waytoagi.com/category/42 。请注意，这些工具的具体功能和可用性可能会变化，使用时请遵守相关条款和政策，并注意版权和伦理责任。

制作虚拟人的方法和相关工具如下： 方法： Meta AI 从音频生成全身逼真的虚拟人物形象的工作原理包括： 1. 数据集捕获：首先捕获丰富的双人对话数据集，用于逼真重建。 2. 运动模型构建：构建包括面部运动模型、引导姿势预测器和身体运动模型的复合运动模型。 3. 面部运动生成：使用预训练的唇部回归器处理音频，提取面部运动相关特征，利用条件扩散模型生成面部运动。 4. 身体运动生成：以音频为输入，自回归地输出每秒 1 帧的向量量化（VQ）引导姿势，将音频和引导姿势输入扩散模型，以 30 帧/秒的速度生成高频身体运动。 5. 虚拟人物渲染：将生成的面部和身体运动传入训练好的虚拟人物渲染器，生成逼真的虚拟人物。 工具： 1. HeyGen：AI 驱动的平台，可创建逼真的数字人脸和角色，适用于游戏、电影和虚拟现实等应用。 2. Synthesia：AI 视频制作平台，允许创建虚拟角色并进行语音和口型同步，可用于多种场景。 3. DID：提供 AI 拟真人视频产品服务和开发，上传人像照片和输入内容，平台的 AI 语音机器人可合成逼真的会开口说话的视频。 更多数字人工具请访问网站查看：https://www.waytoagi.com/category/42 。请注意，这些工具的具体功能和可用性可能会变化，使用时请遵守相关条款和政策，并注意版权和伦理责任。

虚拟人是一个涉及多种技术和应用场景的领域： Meta AI 相关项目：可以从音频生成全身逼真的虚拟人物形象，为迈向元宇宙迈出一步。它能从多人对话语音中生成相应的逼真面部表情、完整身体和手势动作。其工作原理包括数据集捕获、运动模型构建、面部和身体运动生成、虚拟人物渲染等多个环节。 数据集捕获：首先捕获丰富的双人对话数据集以进行逼真重建。 运动模型构建：构建包括面部运动模型、引导姿势预测器和身体运动模型的复合运动模型。 面部运动生成：使用预训练的唇部回归器处理音频提取特征，利用条件扩散模型生成面部运动。 身体运动生成：以音频为输入自回归输出每秒 1 帧的向量量化引导姿势，将音频和引导姿势输入扩散模型生成高频身体运动。 虚拟人物渲染：将生成的面部和身体运动传入训练好的渲染器生成逼真虚拟人物。 虚拟数字人的价值：本质上是 AI，其人类化的外表更具亲和力，能更容易与用户产生信任关系和情感联结，从而带动销售转化和提升品牌忠诚度。 相关计划： 皮皮的计划包括考虑开源，把代码写得更好（如配置化、分层、服务拆分、并发支持等），目标是让任何人扫二维码托管自己微信号，可自定义任意人格，能外部输入图片和语音；运营一个虚拟人自己的 IP（类似于 A soul 或者鹿鸣），拥有自己人设以及训练的脸部 lora 和声音，后面 sora 出来之后可以开始做视频圈粉甚至拍电影；开发自定义性格和语音的微信个人助理，完成日常工作，如搜索、解读 pdf 和 url、个人知识库、提醒、制定学习计划，帮助收集多个群里的信息并汇总提炼。

以下为您介绍一些免费的 AI 虚拟人物相关内容： 1. Vocs AI：这是一个免费的人工智能语音生成器和转换器。您可以按照以下步骤操作： 上传一段清晰的无伴奏人声录音，推荐 wav 或 mp3 格式，更推荐 wav。 从超过 20 名才华横溢的 AI 歌手、说唱歌手、叙述者、角色和配音艺术家中选择，将原始无伴奏声音转换成 AI 虚拟艺术家的声音。 点击“转换”，Vocs AI 的语音技术将把您上传的音频转换成 AI 版本的原声。 下载转换后的音频。需要注意的是，输入音频的质量将直接影响 AI 人声转换的输出质量。链接：https://www.vocs.ai/ 2. 剪映数字人“私有化”： 准备谷歌账号（可在淘宝或者在账号解决平台“”购买）。 第一步，打开谷歌浏览器，点击链接 https://github.com/facefusion/facefusioncolab 并点击 open colab 进到程序主要运行界面，在右上角点击“代码执行程序”选择“全部运行”。 第二步，点击“source”上传自己的照片和“target”上传之前的剪映数字人视频，保持默认参数，点击“START”生成。 第三步，等待专属的数字人视频出炉。 3. 关于数字人的一些算法开源代码仓库： ASR 语音识别：openai 的 whisper:https://github.com/openai/whisper ；wenet:https://github.com/wenete2e/wenet ；speech_recognition:https://github.com/Uberi/speech_recognition 。 AI Agent：大模型部分包括 ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等等。Agent 部分可以使用 LangChain 的模块去做自定义，里面基本包含了 Agent 实现的几个组件 。 TTS：微软的 edgetts：https://github.com/rany2/edgetts，只能使用里面预设的人物声音，目前接口免费；VITS：https://github.com/jaywalnut310/vits，还有很多的分支版本；sovitssvc:https://github.com/svcdevelopteam/sovitssvc，专注到唱歌上面。 简单构建数字人还存在一些问题，例如如何生成指定人物的声音、TTS 生成的音频如何精确驱动数字人口型以及做出相应的动作、数字人如何使用知识库做出某个领域的专业性回答等。

运用虚拟人提高销售业绩可以通过以下几个策略实现： 1. 个性化推荐：利用虚拟人进行个性化的产品推荐，根据客户的历史购买记录和偏好，提供定制化的产品建议。 2. 24/7客户服务：虚拟人可以提供全天候的客服支持，解答客户的咨询，提供产品信息，从而提高客户满意度和销售转化率。 3. 社交媒体互动：通过虚拟人在社交媒体上与消费者互动，增强品牌形象，提升用户参与度和品牌忠诚度。 4. 直播带货：虚拟人可以作为直播销售的主播，展示产品特点，回答观众问题，增加直播的吸引力，提高销售量。 5. 品牌代言：虚拟人作为品牌代言人，通过其独特的形象和故事背景，吸引目标消费群体，提高品牌知名度和产品销量。 6. 虚拟试穿/试用：在时尚、美妆等行业，虚拟人可以提供虚拟试穿或试用服务，让消费者在线上体验产品效果，促进购买决策。 7. 教育和培训：虚拟人可以用于产品教育和培训，帮助消费者更好地了解产品特性和使用方法，增加产品吸引力。 8. 跨平台营销：虚拟人可以跨越不同的平台进行营销活动，包括线上商城、社交媒体、直播平台等，扩大品牌影响力。 9. 数据收集与分析：虚拟人在与消费者互动的过程中，可以收集用户反馈和行为数据，帮助企业分析消费者需求，优化产品和服务。 10. 创新体验：利用AR技术结合虚拟人，为消费者提供创新的购物体验，如AR试妆、虚拟店铺等，吸引消费者参与并提高购买意愿。 通过这些策略，虚拟人可以有效地提升消费者的购物体验，增强品牌与消费者之间的互动，从而提高销售业绩。

旧照片修复是 AI 绘画领域中的一项重要应用。以下是关于旧照片修复的一些相关信息： 以往解决旧照片修复问题往往需要搭建极为复杂的工作流，现在 GPT 4O 只需要一句话就可以实现。 图像放大修复是 AI 绘画领域必不可少的一部分，利用 AI 技术进行图像修复，可以让模糊的旧照片重现清晰，保留珍贵回忆。例如，以前手机拍摄的低分辨率图片，放到如今智能手机上观看会非常模糊，这时可用 AI 技术进行高清修复。 ComfyUI 结合特定工作流，只需十几个基础节点就能实现较好的老照片修复效果。 参数调节方面，一般先确认放大倍数，然后根据出来的图片调整 controlNet 的强度。 Flux.1dev ControlNet 是为低分辨率图像开发的模型，可直接与 diffusers 库一起使用，采用合成复杂数据退化方案进行训练，目的是让模型学会处理各种真实世界中可能遇到的图像退化情况。 Flux Ultimator 能增加小细节，增强色彩，在 0.1 的强度设置下也有显著效果，能顺利集成到工作流程中，与其他 LORA 结合使用时强度需小于 0.5。 若图片质量细节不够，可选择 T5 Clip 的 fp16 版本。

要改变照片中人物的表情，可以通过以下几种方式： 1. 在使用 SD 脸部修复插件 After Detailer 时，输入如“伤心、流泪”这样针对表情的正负提示词，人物的表情会进行相应改变。但输入“带着墨镜”可能没有效果。 2. 使用 Magic Brush 工具，选中人物的眉毛、眼睛、嘴唇等部位，通过调节轨迹的方向来实现合理的表情变化。 3. 在 Midjourney V6 中，若遇到无法改变角色脸部等问题，可按照以下步骤排除故障：首先确保写了强有力的提示以建议新的姿势、风格或细节；若角色抗拒被操纵，可能是 cref 图像支配了提示，可通过使用 cw进行处理，尝试将提示与较低的 cref 权重一起使用，如 cw 60，按照特定步骤操作，还可考虑使用 来恢复面部区域。

老照片修复是一个具有一定复杂性但通过 AI 技术可以实现较好效果的领域。以下是一些相关信息： 在解决老照片修复问题上，以往 AI 往往需要搭建极为复杂的工作流，而现在 GPT 4O 只需要一句话就可以实现。 对于老照片上色，可启用 MutiDiffusion 插件，不开放大倍数，仅使用分块渲染功能，在显存不够的情况下将图片放大到足够倍数。 对于复杂的老照片，如人物多、场景复杂、像素低的情况，可在 PS 里进行角度调整和照片裁切，然后上色。若直接上色效果不佳，可放弃人物服装颜色指定，只给场景方向，让 AI 自行决定。还可加入第二个 controlnet 来控制颜色，使用 t2ia_color 模型，给出简单关键词如“蓝天、绿树、灰石砖”。 ComfyUI 老照片修复结合 Flux Controlnet Upscale 工作流，以前的工作流较复杂，现在只要十几个基础节点就能实现同样甚至更好的效果。一般先确认放大倍数，再根据图片调整 controlNet 的强度。Flux.1dev ControlNet 是为低分辨率图像开发的模型，可直接与 diffusers 库一起使用，采用特定训练方式处理各种真实世界中可能遇到的图像退化情况。Flux Ultimator 能增加小细节和放大色调丰富性、深度，在 0.1 强度设置下有显著增强效果，能顺利集成到工作流程中，与其他 LORA 结合使用时强度需小于 0.5。若图片质量细节不够，可选择 fp16 版本的 T5 Clip。

以下是使用 AI 将老照片变高清的步骤： 1. 给老照片上色：为做到颜色与内容统一，可启用 cutoff 插件，按顺序设置好颜色提示词。不了解该插件的可参考文章。 2. 使照片人脸变清晰：将照片放入后期处理，使用 GFPGAN 算法，可参考文章。但此步骤无法使头发、衣服等元素变清晰。 3. 放大照片：将图片发送到图生图中，打开 stableSR 脚本，放大两倍。此放大插件是所有插件中对原图还原最精准、重绘效果最好的，可参考文章。切换到 sd2.1 的模型进行修复，vae 选择 vqgan，提示词可不写以免干扰原图。 4. 显存不够时：启用 MutiDiffusion 插件，不开放大倍数，仅使用分块渲染功能帮助放大图片。 5. 处理复杂照片：对于人物多、场景复杂、像素低的照片，可先在 ps 里调整角度和裁切，然后上色。若直接上色效果不佳，可放弃人物服装颜色指定，只给场景方向，让 AI 自行决定。还可加入第二个 controlnet 控制颜色，使用 t2ia_color 模型，给出简单关键词，如“蓝天、绿树、灰石砖”。最后进行脸部修复和放大。

以下是让老照片变清晰的方法： 1. 将照片放入后期处理中，使用 GFPGAN 算法使人脸变清晰。您可以参考文章。 2. 将图片发送到图生图中，打开 stableSR 脚本，放大两倍。此放大插件是所有插件中对原图还原最精准、重绘效果最好的。您可以参考文章。 3. 切换到 sd2.1 的模型进行修复，vae 选择 vqgan，提示词可以不写以免对原图产生干扰。 4. 启用 MutiDiffusion 插件，不开放大倍数，仅使用分块渲染的功能，能在显存不够的情况下将图片放大到足够的倍数。 5. 对于复杂的照片，可先在 ps 里面进行角度调整和照片裁切，然后使用上述步骤进行上色。若直接上色效果不佳，可放弃人物服装的颜色指定，只给场景方向，让 AI 自行决定。还可加入第二个 controlnet 来控制颜色，使用 t2ia_color 的模型，给出简单的关键词，如“蓝天、绿树、灰石砖”。 另外，进行超清无损放大修复需要准备以下文件和操作： 1. 使用 StabilityAI 官方的 Stable Diffusion V2.1 512 EMA 模型，放入 stablediffusionwebui/models/StableDiffusion/文件夹中。 2. 将 StableSR 模块（约 400M 大小）放入 stablediffusionwebui/extensions/sdwebuistablesr/models/文件夹中。 3. 将 VQVAE（约 750MB 大小）放在 stablediffusionwebui/models/VAE 中。

老照片修复是一项具有一定复杂性的工作，但随着 AI 技术的发展，实现方式也在不断改进和优化。 以往，AI 在解决老照片修复问题时，往往需要搭建极为复杂的工作流。而现在，例如 GPT 4O 只需要一句话，就可以实现部分修复需求。 在具体的修复方法中，如使用 SD 进行老照片上色，可以启用 MutiDiffusion 插件，不开放大倍数，仅使用分块渲染的功能，在显存不够的情况下将图片放大到足够的倍数。对于复杂的老照片，如人物多、场景复杂、像素低的情况，可以先在 ps 里面进行角度调整和照片裁切，然后进行上色。若直接上色效果不佳，可放弃人物服装的颜色指定，只给场景方向，让 AI 自行决定，还可加入第二个 controlnet 来控制颜色。 ComfyUI 老照片修复结合 Flux Controlnet Upscale 工作流，以前复杂的工作流现在只要十几个基础的节点就能实现同样的效果甚至更好。其中涉及参数的调节，一般先确认放大的倍数，然后根据出来的图片来调整 controlNet 的强度。Flux.1dev ControlNet 是为低分辨率图像开发的模型，可直接与 diffusers 库一起使用，采用合成复杂数据退化方案进行训练。Flux Ultimator 能增加小细节和放大色调的丰富性和深度，在 0.1 的强度设置下也能有显著增强效果，能顺利集成到工作流程中。若图片质量细节不够，T5 Clip 选择 fp16 的版本。

以下是一些好用的人声合成 AI 相关内容： 1. 关于 AI 孙燕姿的生成： 推荐归臧写的通俗易懂的教程： 《》 《》 项目主要使用 SoVITSSVC 4.0，可在。 模型使用分为原始声音处理、推理过程和音轨合并三个部分。使用 UVR_v5.5.0 软件处理声音，保留人物的干声。运行整合包的 Web UI 进行声音推理，需将模型文件和配置文件放置正确文件夹下。分割后的素材尽量不要超过显存大小，使用【slicergui】软件进行分割。最终得到的处理好的人声素材可用于训练模型。 2. 深度伪造技术： 深度伪造技术（deepfakes）是利用 AI 程序和深度学习算法实现音视频模拟和伪造的技术，投入深度学习的内容库越大，合成的视音频真实性越高，甚至能以假乱真。 粉丝们会通过 Stems 音轨分离工具将人声与原始歌曲分离，再使用人声转换模型将人声转换成另一位明星的风格，然后将新的人声轨道与原始作品重新拼接在一起。DiffSVC 是一种流行的用于此目的的语音传输模型。 3. 制作 AI 古人骂人视频： 声音克隆： 工具：Fish Audio 操作：准备一段需要克隆的音频（可以是类似屈原的古风声音，或自行录制一段），打开网站 https://fish.audio/zhCN/train/newmodel/ ，上传音频，按照指引完成声音克隆，进入声音库选择需要使用的声音，将生成的文案输入，使用克隆好的声音生成对应的音频文件并下载备用。 视频合成： 工具：Viggle.ai 操作：在网上下载“回答我”的原视频，打开 Viggle.ai 网站（https://viggle.ai/createmix ），登录后上传“回答我”原视频和人物形象图生成新版本视频，预览效果并下载。 视频剪辑： 工具：剪映 操作：打开剪映软件（手机或电脑版均可），导入合成好的新视频和生成的音频文件，将音频与视频时间轴对齐，添加字幕等，如需叠加特殊背景，可导入自己的背景图（如楚国风景），预览整个视频，检查效果并微调后导出最终视频。 请注意版权问题，请勿侵犯他人音乐版权。

以下是关于出门问问语音合成（TTS）API 的相关信息： 接口请求域名：https://open.mobvoi.com/api/tts/v1 接口请求频率限制：5 次/秒 调用参数及说明： 字段名：text 必填：是 类型：String 描述：要合成的文本内容，限制为 1000 字符。支持 ssml 标记语言，使用说明见附录 3。 字段名：appkey 必填：是 类型：String 描述：开发者在 AI 开放平台上申请的 appkey。 字段名：signature 必填：是 类型：String 描述：签名，通过“appkey+secret+timestamp”进行 md5 加密，得到的 32 位 MD5 值。其中加号也参与 MD5 的计算。每次请求实时计算签名，签名有效期为 10 分钟。 字段名：timestamp 必填：是 类型：Long 描述：当前时间戳，单位为秒。 字段名：speaker 必填：否 类型：String 描述：合成音频指定发音人。默认值：cissy_meet。其他发音人传值及计费价格请参考声音商店。 字段名：audio_type 必填：否 类型：String 描述：合成音频的格式。默认值：mp3。可选值：pcm/mp3/speexwb10/wav。只支持这四种格式中的一种。 字段名：speed 必填：否 类型：Float 描述：发音人合成的语速，支持小数点后两位。默认值：1.0。可选值：0.5 2.0。 字段名：convert 必填：否 类型：String 描述：默认值：无。可选值：robot。是否转化为机器声。 字段名：rate 必填：否 类型：Long 描述：音频采样率。默认值：无，由 speaker 指定默认值。可选值：8000/16000/24000。 字段名：volume 必填：否 类型：Float 描述：合成音量。默认值：1.0。可选值：0.1 1.0。 字段名：pitch 必填：否 类型：Float 描述：语调参数，参数小于 0 则语调变低，反之则高。默认值：0。可选值：10 < pitch < 10（streaming 接口不支持）。 字段名：symbol_sil 必填：否 类型：String 描述：符号停顿时长映射方法（逗号分割）见下方停顿符号映射表。充值后自动开通权限（streaming 接口不支持）。 字段名：ignore_limit 必填：否 类型：Boolean 描述：默认值：false。可选值：false/true。是否限制字符数，如果设置 true，传输的文本可以超过 1000 字符限制，最大字符数 3000。充值后自动开通权限。 出门问问语音合成技术（TTS）可以将任意文本转化为语音，实现让机器和应用张口说话。其可应用于视频 APP 配音解说、小说 App 有声阅读、移动 App 新闻语音播报、智能设备语音提醒、车载导航语音合成的个性化语音播报等场景。该服务提供了普通话、台湾腔、粤语、四川话、东北话等多种方言，数百个发音人，上千种风格，满足不同场景的选择需求。实时合成支持 SSML，语法详见 SSML 标记语言。 HTTP Method：支持 POST 请求。

如果您想对一首歌填新词并合成演唱，可以使用以下 AI 工具： 1. ACE Studio： 实操步骤： 第一步：准备音频素材。使用干声转换，在软件中分别导入人声干声和伴奏，放在两个轨道上。干声用于转成 MIDI 做 AI 演唱。注意，男歌女唱或女歌男唱时，导入前先进行变调。常用工具如 TME Studio（地址：https://y.qq.com/tme_studio/index.html/editor ），可用于音频分离；Vocalremover（地址：https://vocalremover.org/zh/keybpmfinder ），包含音频分离、变调、BPM 查询等功能。 第二步：干声转换。转换前先将工程 BPM 设置为与歌曲一致，然后将音频轨道的文件拖入到空白的歌手轨道进行干声转换。 第三步：选择歌手。软件左侧有歌手可选择，长按拖动到歌手轨道的头像处即可切换歌手。 2. Suno 和 Udio：推出了上传音频文件生成音乐的功能，有了前置旋律，可以精确控制每首歌的速度、旋律、配器、合成等。可以用提示词多 Roll 一些和流派、心情、场景相关的曲子，把点数用来 roll 更多细节调整的部分，提升作品品质。

目前在语音合成领域，有多种优秀的模型。例如： ChatTTS：这是一个用于对话的生成式语音合成模型，生成的语音可以达到“以假乱真”的程度。但为防止被用于违法行为，作者在训练中添加了少量高频噪音并压缩了音质。 MiniMax AI 的 T2A01HD 语音合成模型：仅需 10 秒录音，就能实现高精度的声音克隆。生成的语音在音色、语调和情感表达上达到录音室级别，支持 17 种语言，提供 300 多种预置音色库，并支持多种音效调整。 语音合成包括将文本转换为可听声音信息的过程，一般由文本前端和声学后端两个部分组成。当代工业界主流语音合成系统的声学后端主要技术路线包括单元挑选波形拼接、统计参数和端到端语音合成方法，当代主要采用端到端声学后端。端到端声学后端一般包括声学模型和声码器两部分，同时也出现了直接从音素映射为波形的完全端到端语音合成系统。 您可以根据自己的需求选择适合的语音合成模型。例如，如果您希望快速实现高精度的声音克隆，可以考虑 MiniMax AI 的 T2A01HD 模型；如果您对对话场景的语音合成有需求，ChatTTS 可能是一个不错的选择。

以下是关于将 AI 把 logo 合成到图片里的相关内容： 试运行抠图操作，将抠图结果合到海报上，包括进入画板、添加画板、调整元素等操作。 为锅的海报添加背景及调整图片显示，处理品牌 LOGO 相关操作，如抠图、添加、调整位置和大小。 用 LLM 生成图像提示词，将提示词和 Logo 图片放到 Comfyui 工作流。 整个流程分为获取 Logo 图片的描述、生成图片提示词、将图片和提示词输入 Comfyui 工作生成。

以下是关于图片合成的相关介绍： ComfyUI BrushNet： 这个过程类似于小时候的连点成图游戏，现在由电脑在图片上操作。 1. 掩码：像有洞的纸覆盖在图片上，电脑程序通过洞了解需修复部分。 2. 编码器：是电脑的大脑，把需修复图片转换成能理解和处理的信息。 3. 噪声潜在空间：加入随机性让修复部分更自然。 4. BrushNet 和冻结的 UNet：像画家的画笔和调色板，帮助完成修复工作。 5. 去噪和生成图像：去除噪声，创建真实图片部分。 6. 模糊掩码和合成：用特殊技巧将新生成图片和原始图片融合。 Blend叠加： /blend 命令允许快速上传 2 5 张图片，通过对每张图片的概念和美学分析，将它们合并成新图。 与 /imagine 结合多个 。 在输入 /blend 命令后，会提示上传两张照片，可从硬盘拖放或在移动设备从照片库添加。要添加更多图像，选择 optional/options 字段并选 image3、image4 或 image5。 图像叠加默认 1:1 宽高比，可使用可选的 dimensions 字段选择方形（1:1）、肖像（2:3）或横向（3:2）的长宽比。 与其他 /imagine 命令一样，/blend 指令末尾可添加 ，指定在 /blend 命令中的宽高比会覆盖自定义后缀中的宽高比。为获得最佳处理效果，上传与期望结果相同的图像宽高比。

以下是为您推荐的一些用于视频二创，如更换视频背景、人物衣服的相关 AI 工具： 1. 山寨版阿里 Animate Anyone 开源：利用图像和视频中的人物姿势来合成动画。Novita AI 开源并提供 API 支持，提供照片和视频即可自动生成动画。 GitHub：https://github.com/novitalabs/AnimateAnyone API：https://novita.ai/playgroundanimateanyone https://x.com/imxiaohu/status/1796191458052944072 2. ViViD 视频虚拟试穿技术：由阿里巴巴开发，可以替换视频中人物的衣服，生成真实自然的视频，支持多种服装类型，在视觉质量、时间一致性和细节保留方面表现优异。 https://x.com/imxiaohu/status/1796019244678906340 3. 在进行视频二创时，若需要更精确的蒙版，比如人物的眼睛或身上的配饰等，可以使用 segment anything 中的 GroundingDINO。启用 GroundingDINO 后，AI 会自动下载模型，也可在没有魔法的情况下到云盘直接下载，放到指定文件目录下“……sdwebuiakiv4.2\\extensions\\sdwebuisegmentanything\\models\\groundingdino”。在检测提示词中输入相关内容，AI 可根据语义分割自动检测并设置好蒙版。还能通过预览箱体得到部分编号进行单一调整。比如给人物换背景时，加载生成的背景蒙版，选择合适的大模型和正向提示词，蒙版模式选择“重绘非蒙版内容”，若有需要还可进行后续细化和 PS 修复。

要让一张卡通人物动起来，可以参考以下几种方法： 1. 使用 AnimateX ：类似 Animate Anyone，输入角色图片和参考动作序列，即可实现角色动画，尤其适配拟人化的角色。 2. 借助 Pika ： 账号注册：访问完成免费注册。 素材整理： 视频：准备一段视频，可手机实拍，≥5 秒，生成时会自动截取前 5 秒，横屏/竖屏均可（建议 1080p 以上）。 图片：准备一张主体清晰无遮挡的角色图片，生成的视频中将参考此图片的角色并融入视频。 文案思路：提前构思角色动态关键词（如“奔跑/挥手/发光”），也可让模型自由发挥。 3. 运用即梦进行图生视频：只需上传图片至视频生成模块，用简单提示词描绘画面中的动态内容，能生成时长为 3 秒钟的画面，运镜类型可根据剧本中的镜头描绘设置，以随机运镜为主，生成速度可选择慢速。 此外，在制作过程中，还可以像桂大羊的教程那样，通过描绘人物的提示词、上传角色参考图、扣除角色背景以便于进行角色加背景的融合生成时进行垫图操作等方式，提高人物和场景的融合度。

Midjourney 的角色一致性功能： 功能介绍：类似于“风格参考”功能，尝试使人物与“人物参考”图像相匹配。 使用方法：在提示词后输入`cref URL`并附上一个人物图像的 URL。需注意一定要在提示词后面，否则会报错。可以使用`cw`来修改参考“强度”，从 100 到 0。强度 100（`cw 100`）是默认值，会使用面部、头发和衣服；强度 0（`cw 0`）时，只会关注面部（适合改变服装/发型等）。 实际效果：例如以甜茶或小公主的图片为案例，不同的强度参数下，发型、衣服等会有相应变化。 相关优势：能节省工期，提升生产管线的可控性。 其他应用：利用 MJ 重绘功能，在重绘提示词里输入`cref cw`保证角色一致性。对于生成图中的黑边，可框住黑边部分重绘输入关键词“background”去除，保证背景一致。 体验网址：MJ 的网页版体验较好，网址为 https://alpha.midjourney.com/

以下是关于图片生成人物衣服的一些提示词相关内容： 在使用 Segment Anything 时，启用 GroundingDINO 可自动下载模型，将其放到特定文件目录下，在检测提示词中输入相关内容，如“eye”，可自动检测并设置蒙版。通过预览箱体获取编号，可选择调整单一部分。例如，只想调整左边眼睛，勾选 1 即可。还可给人物换背景，如大模型选择 revAnimated_v122，正向提示词为简单背景、花、国画、工笔，蒙版模式选择“重绘非蒙版内容”。将生成的图片放入图生图中，使用 tile 模型能给人物衣服添加国风元素。 设置模型和提示词时，例如大模型为 ghostmix_v20Bakedvae，正向提示词包含人物特征、服饰等描述，负向提示词包含 EasyNegative、badhandsv5neg 等。生成图片后可进行细节微调。 使用 cutoff 插件时，点击启用后按提示词顺序依次填入颜色提示词，中间用逗号分开，能准确显示颜色。如创建双人物构图，设置好人物形象和提示词，先在不开启插件时生成图片可能有颜色污染，开启插件并输入颜色信息后能保证颜色与提示词的关联性。

以下为您介绍一些可以免费驱动 AI 人物形象当做数字人进行口播的工具及使用方法： 1. HEYGEN： 优点：人物灵活，五官自然，视频生成很快。 缺点：中文的人声选择较少。 使用方法： 点击网址注册后，进入数字人制作，选择 Photo Avatar 上传自己的照片。 上传后效果如图所示，My Avatar 处显示上传的照片。 点开大图后，点击 Create with AI Studio，进入数字人制作。 写上视频文案并选择配音音色，也可以自行上传音频。 最后点击 Submit，就可以得到一段数字人视频。 2. DID： 优点：制作简单，人物灵活。 缺点：为了防止侵权，免费版下载后有水印。 使用方法： 点击网址，点击右上角的 Create vedio。 选择人物形象，可以点击 ADD 添加您的照片，或者使用 DID 给出的人物形象。 配音时，可以选择提供文字选择音色，或者直接上传一段音频。 最后，点击 Generate vedio 就可以生成一段视频。 打开自己生成的视频，可以下载或者直接分享给朋友。 3. KreadoAI： 优点：免费（对于普通娱乐玩家很重要），功能齐全。 缺点：音色很 AI。 使用方法： 点击网址，注册后获得 120 免费 k 币，这里选择“照片数字人口播”的功能。 点击开始创作，选择自定义照片。 配音时，可以选择提供文字选择音色，或者直接上传一段音频。 打开绿幕按钮，点击背景，可以添加背景图。 最后，点击生成视频。 4. 剪映： 优势：作为字节跳动旗下的产品，在抖音平台上被广泛应用，海外版 CapCut 也有出色表现。其拥有六大 AI 功能，能在编辑器里完成脚本生成、语音克隆、数字人口播等环节。 下载地址：剪映 制作流程： 打开剪映，添加一个文本到文字轨道，并修改好需要朗读的文字。 点击朗读，并进行声音克隆，剪映的声音克隆现在只用念一句话就可以完成克隆。 克隆完成后，选择喜欢的数字人形象，并把自己的克隆音色换上去。 一键智能生成字幕，再自行调整文字样式并校准。 生成数字人： 在剪映右侧窗口顶部，打开“数字人”选项，选取一位免费的、适合的数字人形象。 当选择一个数字人形象时，软件会马上播放出该数字人的声音。点击右下角的“添加数字人”，就会将选择的数字人添加到当前视频中。 左下角会提示渲染何时完成。然后可以点击预览按钮，查看生成的数字人效果。 增加背景图片： 可以直接删除先前导入的文本内容。 为视频增加背景图片，点击左上角的“媒体”菜单，并点击“导入”按钮，来选择本地的一张图片上传。 点击图片右下角的加号，将图片添加到视频的轨道上（会覆盖数字人）。 点击轨道最右侧的竖线，向右拖拽，直到视频的最后，也就是和视频对齐。