Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

lora训练的数据集没有跳绳动作,后期如何使用lora生成跳绳的图,需求要保持人脸和服装跟训练人物一致

Answer

如果您的 Lora 训练数据集没有跳绳动作,但希望生成跳绳的图并保持人脸和服装与训练人物一致,可以参考以下步骤:

  1. 首先,在已有训练集中选择一两张合适的形象图片,用 PS 把人物肢解处理一下,得到各部位的图片。
  2. 在 Tripo 中逐个上传图片转换成 3D 模型(由于全身图单次转换 3D 目前效果较差,所以需逐个分部转换)。
  3. 利用 3D 软件将模型整合,绑定骨架。
  4. 最后对照所需的分镜图凹好造型,再进行重绘。重绘时可以使用 --cref --cw0 来保证基础面部。

另外,训练 Lora 时需要注意:

  1. 对于一个固定的形象,面部五官最重要,其次是体型、服装、配饰等。收集训练集时,收集形象的头部图片很重要。
  2. 给图片打标时,要仔细检查每一张图片,打标的好坏会影响到后面人物 Lora 的泛化性。若想让人物有更多变化,描述应尽量详细。
Content generated by AI large model, please carefully verify (powered by aily)

References

吉川老师:2024全球AI电影马拉松大赛最佳美术奖《新哪吒闹海》全案拆解

[title]吉川老师:2024全球AI电影马拉松大赛最佳美术奖《新哪吒闹海》全案拆解[heading1]一. 人物设计[heading2] 角色重绘 [heading3]图生3D辅助姿势 [content]另外一边,利用lora和重绘工作流进行作业时,角色的年龄、身形比例,还有服装配饰仍然受mj底图较大的影响,衣服方面的一致性仅靠lora和提示词抽卡重绘,成功率不是很稳定。以下是具体步骤:1)首先,在哪吒的角色lora训练集里选一两张合适的形象图片,用ps把哪吒肢解处理一下,然后得到各部位的图片。2)在Tripo中逐个上传图片转换成3D模型(逐个分部转换是因为全身图单次转换3d目前的效果太差)。3)利用3d软件将模型整合,绑定骨架。4)最后在对照MJ出的分镜图凹好造型,再重绘。重绘流程跑通后,MJ出的分镜图对于角色而言只要景别和动作到位即可。(可以使用--cref --cw0来保证基础面部)

【SD】角色设计的福音!绘制一致性多角度头像

如何让我们在SD中绘制的角色保持一致,这是人们长久以来在探索AI绘画的领域当中一直寻求解决的问题。目前来看,实现这个目标最好的方法就是使用LoRA。但是要训练一个LoRA,我们首先要至少有一个15到20张图片的训练集。在一个固定的形象中,最重要的是面部五官,其次是体型、服装、配饰之类的。所以,我们在收集训练集的过程当中,收集形象的头部图片是很重要的。现实中的人物我们可以通过照片来进行训练,但如果是我们在AI中生成的虚构角色呢?我们就要让这个虚构角色能稳定输出多张不同角度的图片才能达到训练集的要求。今天,我们就来学习一下,如何创建一个虚构人物的多视图角色表。#01#02#03#04

【Lora炼丹术】国庆节去哪玩?炼个丹儿玩!人像lora炼制(2)

选一个基础大模型,我使用的是“麦橘写实”,然后填一个lora的名字。准备好之后,将照片导入到丹炉,选择适合的分辨率,可以勾选“脸部加强训练”,然后点击“预处理”。其实这里有一个自动的裁剪模式,但是我试过觉得自动的不太靠谱,所以还是手动裁吧。预处理之后,就会出现一个脸部的文件夹,和一个整体的文件夹,并且每一张照片都已经自动打好了tag标签。我们可以给整体添加统一的标签,也可以单独给每一张修改标签。这个标签的作用主要是帮助AI去理解我们的图片,告诉它画面里面有什么。这里要注意的是,如果你想让这个特征成为人物的固定的效果,你就不要填写这个关键词。比如我不描写他的发型,只描写他的头发颜色,那么后期出图的时候,他的发型就不能被改变,但是头发颜色却可以被改变。这个过程挺漫长的,每一张图片都要仔细检查,打标的好坏会影响到后面人物lora是否有比较好的泛化性。所以如果你想让你的人物能多一些变化,就尽量描述的详细一些吧。

Others are asking
Lora训练
以下是关于 Lora 训练的详细步骤: 创建数据集: 1. 进入厚德云模型训练数据集(https://portal.houdeyun.cn/sd/dataset)。 2. 在数据集一栏中,点击右上角创建数据集。 3. 输入数据集名称。 4. 可以上传包含图片+标签 txt 的 zip 文件,也可以只有图片没有打标文件(之后可在 C 站使用自动打标功能),或者一张一张单独上传照片,但建议提前把图片和标签打包成 zip 上传。 5. Zip 文件里图片名称与标签文件应当匹配,例如:图片名“1.png”,对应的达标文件就叫“1.txt”。 6. 上传 zip 以后等待一段时间。 7. 确认创建数据集。 8. 返回到上一个页面,等待一段时间后上传成功,可以点击详情检查,预览到数据集的图片以及对应的标签。 Lora 训练: 1. 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集,点击右侧箭头,会跳出所有上传过的数据集。 3. 触发词可有可无,取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 4. 训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数。如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数。 5. 可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。 6. 然后等待训练,会显示预览时间和进度条。 7. 训练完成的会显示出每一轮的预览图。 8. 鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 此外,还有一些相关的补充内容: Flux 的 Lora 训练准备: 需要下载几个模型:t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意: 1. 不使用的话它们放到哪里都可以,甚至放一起一个文件夹,只要知道“路径”,后面要引用到“路径”。 2. 因为是训练,不是跑图,训练的话,模型就用 flux1dev.safetensors 这个版本,编码器也用 t5xxl_fp16.safetensors 这个版本最好。 下载脚本和安装虚拟环境: 1. 下载脚本: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 2. 下载完解压,在文件中找到 installcnqinglong.ps1 这个文件,右键选择“使用 PowerShell 运行”,新手的话这里就点击“Y”,然后等待 1 2 小时的漫长下载过程,下好了之后最后会提示是否下载 hunyuan 模型,选择 n 不用下载。 SD 训练一套贴纸 LoRA 模型: 1. 在 lora 训练器的根目录下,点击【A 强制更新国内加速】,跑完即可关闭窗口。 2. 双击【A 启动脚本】,请保持终端一直运行,不要关闭。出现下列代码即为启动成功。 3. 滚动至最下点击【LoRA 训练】或者直接点击左侧菜单【LoRA 训练】。
2025-03-30
lora微调
LoRA 微调相关内容如下: 微调脚本: LoRA 微调脚本见:,单机多卡的微调可通过修改脚本中的include localhost:0 来实现。 全量参数微调脚本见:。 加载微调模型: 基于 LoRA 微调的模型参数见:基于 Llama2 的中文微调模型,LoRA 参数需要和基础模型参数结合使用。通过加载预训练模型参数和微调模型参数,示例代码中,base_model_name_or_path 为预训练模型参数保存路径,finetune_model_path 为微调模型参数保存路径。 对于全量参数微调的模型,调用方式同模型调用代码示例,只需要修改其中的模型名称或者保存路径即可。 此外,在 Comfyui AnimateDiff 项目中,有一个关键的 lora 对图像模型进行了微调,lora 地址为 https://huggingface.co/guoyww/animatediff/blob/main/v3_sd15_adapter.ckpt,lora 的强度越高,画面越稳定,但需在合理范围。 在 100 基础训练大模型的 Lora 生图中,模型上的数字代表模型强度,可在 0.61.0 之间调节,默认为 0.8。您也可以自己添加 lora 文件。正向提示词输入您写的提示词,可选择基于提示词一次性生成几张图,选择生成图片的尺寸(横板、竖版、正方形)。采样器和调度器新手小白可默认,迭代步数可在 2030 之间调整,CFG 可在 3.57.5 之间调整,随机种子1 代表随机生成图。所有设置完成后,点击开始生成,生成的图会显示在右侧。若某次生成结果不错,想要微调或高分辨率修复,可点开图,下滑复制随机种子,粘贴到随机种子处,下次生成的图会与此次结果近似。若确认合适的种子和参数,想要高清放大,点开高清修复,选择放大倍数,新手小白可默认算法,迭代步数建议在 2030 之间,重回幅度在 0.30.7 之间调整。
2025-03-22
lora微调
LoRA 微调相关内容如下: 微调脚本: LoRA 微调脚本见:,单机多卡的微调可通过修改脚本中的include localhost:0 来实现。 全量参数微调脚本见:。 加载微调模型: 基于 LoRA 微调的模型参数见:基于 Llama2 的中文微调模型,LoRA 参数需要和基础模型参数结合使用。通过加载预训练模型参数和微调模型参数,示例代码中,base_model_name_or_path 为预训练模型参数保存路径,finetune_model_path 为微调模型参数保存路径。 对于全量参数微调的模型,调用方式同模型调用代码示例,只需要修改其中的模型名称或者保存路径即可。 此外,在 Comfyui AnimateDiff 项目中,有一个关键的 lora 对图像模型进行了微调,lora 地址为 https://huggingface.co/guoyww/animatediff/blob/main/v3_sd15_adapter.ckpt,lora 的强度越高,画面越稳定,但需在合理范围。 在 100 基础训练大模型的 Lora 生图中,模型上的数字代表模型强度,可在 0.61.0 之间调节,默认为 0.8。您也可以自己添加 lora 文件。正向提示词输入您写的提示词,可选择基于提示词一次性生成几张图,选择生成图片的尺寸(横板、竖版、正方形)。采样器和调度器新手小白可默认,迭代步数可在 2030 之间调整,CFG 可在 3.57.5 之间调整,随机种子1 代表随机生成图。所有设置完成后,点击开始生成,生成的图会显示在右侧。若某次生成结果不错,想要微调或高分辨率修复,可点开图,下滑复制随机种子,粘贴到随机种子处,下次生成的图会与此次结果近似。若确认合适的种子和参数,想要高清放大,点开高清修复,选择放大倍数,新手小白可默认算法,迭代步数建议在 2030 之间,重回幅度在 0.30.7 之间调整。
2025-03-22
lora微调
LoRA 微调相关内容如下: 微调脚本: LoRA 微调脚本见:,单机多卡的微调可通过修改脚本中的include localhost:0 来实现。 全量参数微调脚本见:。 加载微调模型: 基于 LoRA 微调的模型参数见:基于 Llama2 的中文微调模型,LoRA 参数需要和基础模型参数结合使用。通过加载预训练模型参数和微调模型参数,示例代码中,base_model_name_or_path 为预训练模型参数保存路径,finetune_model_path 为微调模型参数保存路径。 对于全量参数微调的模型,调用方式同模型调用代码示例,只需要修改其中的模型名称或者保存路径即可。 此外,在 Comfyui AnimateDiff 项目中,有一个关键的 lora 对图像模型进行了微调,lora 地址为 https://huggingface.co/guoyww/animatediff/blob/main/v3_sd15_adapter.ckpt,lora 的强度越高,画面越稳定,但需在合理范围。 在 100 基础训练大模型的 Lora 生图中,模型上的数字代表模型强度,可在 0.61.0 之间调节,默认为 0.8。您也可以自己添加 lora 文件。正向提示词输入您写的提示词,可选择基于提示词一次性生成几张图,选择生成图片的尺寸(横板、竖版、正方形)。采样器和调度器新手小白可默认,迭代步数可在 2030 之间调整,CFG 可在 3.57.5 之间调整,随机种子1 代表随机生成图。所有设置完成后,点击开始生成,生成的图会显示在右侧。若某次生成结果不错,想要微调或高分辨率修复,可点开图,下滑复制随机种子,粘贴到随机种子处,下次生成的图会与此次结果近似。若确认合适的种子和参数,想要高清放大,点开高清修复,选择放大倍数,新手小白可默认算法,迭代步数建议在 2030 之间,重回幅度在 0.30.7 之间调整。
2025-03-22
flux lora训练
以下是关于 Flux 的 Lora 模型训练的详细步骤: 模型准备: 1. 下载所需模型,包括 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意:不使用时存放位置随意,只要知晓路径即可。训练时建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载脚本: 1. 网盘链接: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 安装虚拟环境: 1. 下载完脚本并解压。 2. 在文件中找到 installcnqinglong.ps1 文件,右键选择“使用 PowerShell 运行”。 3. 新手在此点击“Y”,然后等待 1 2 小时的下载过程,完成后提示是否下载 hunyuan 模型,选择 n 不用下载。 数据集准备: 1. 进入厚德云 模型训练 数据集:https://portal.houdeyun.cn/sd/dataset 2. 创建数据集: 在数据集一栏中,点击右上角创建数据集。 输入数据集名称。 可以上传包含图片 + 标签 txt 的 zip 文件,也可以上传只有图片的文件(之后可在 c 站使用自动打标功能),或者一张一张单独上传照片。 Zip 文件里图片名称与标签文件应当匹配,例如:图片名“1.png”,对应的达标文件就叫“1.txt”。 上传 zip 以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可点击详情检查,预览数据集的图片以及对应的标签。 Lora 训练: 1. 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集,点击右侧箭头,选择上传过的数据集。 3. 触发词可有可无,取决于数据集是否有触发词。 4. 模型效果预览提示词则随机抽取一个数据集中的标签填入。 5. 训练参数可调节重复次数与训练轮数,厚德云会自动计算训练步数。若不知如何设置,可默认 20 重复次数和 10 轮训练轮数。 6. 按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。 7. 等待训练,会显示预览时间和进度条。训练完成会显示每一轮的预览图。 8. 鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 数据集存放位置:.Flux_train_20.4\\train\\qinglong\\train 运行训练:约 1 2 小时即可训练完成。 验证和 lora 跑图:有 ComfyUI 基础的话,直接在原版工作流的模型后面,多加一个 LoraloaderModelOnly 的节点就可以,自行选择 Lora 和调节参数。
2025-03-15
lora模型
LoRA 模型相关信息如下: Fooocus 程序默认用到了 3 个 SDXL 的模型,包括一个 base、一个 Refiner 和一个 LoRA。LoRA 模型默认放在 Fooocus_win64_1110\\Fooocus\\models\\loras 。如果单独安装,需要下载三个模型: SDXL 基础模型:https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors refiner 模型:https://huggingface.co/stabilityai/stablediffusionxlrefiner1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensors LoRA 模型:https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_offset_examplelora_1.0.safetensors 若部署了 SD 秋叶包,也可共用模型(大模型和 LoRA),可在 Fooocus_win64_1110\\Fooocus\\modules\\path.py 中修改路径为秋叶包模型对应的路径,配置好后点击 run.bat 文件启动。 Lora 全称 LowRank Adaptation Models,中文翻译为低阶自适应模型,作用在于影响和微调画面,通过它可以再现人物或物品的特征。大模型训练复杂且对电脑配置要求高,LoRA 采用在原模型中插入新的数据处理层的方式,避免修改原有模型参数,训练轻量化,显存达到 6G 即可开启训练。 有利用新版 SDXL 生成的 lora 如针线娃娃,需要使用 SDXL1.0 的模型才可以运行,触发词是 BJ_Sewing_doll。想体验可添加公众号【白马与少年】,回复【SDXL】。
2025-03-09
这个网站的作用是什么?是通过这个网站更好的使用训练AI吗?
WaytoAGI 网站具有以下功能: 1. 和 AI 知识库对话:您可以在此询问任何关于 AI 的问题。 2. AI 网站:集合了精选的 AI 网站,可按需求找到适合您的工具。 3. AI 提示词:集合了精选的提示词,能复制到 AI 对话网站使用。 4. 知识库精选:将每天知识库的精华内容呈现给大家。 总之,WaytoAGI 网站和 WaytoAGI 知识库相互独立又有关联,希望成为您学习 AI 路上的好助手。
2025-04-13
想自学ai训练师 推荐哪个视频去学习
以下是为您推荐的自学 AI 训练师的视频: 1. 3 月 26 日|自由讨论|离谱视频切磋大会 猫先生介绍自己的背景和擅长领域 AI 学习与实践的重要性 AI 交流会:分享项目经验和技能 讨论比赛规则和资源分配 AI 工具学习与合作 广州 AI 训练师叶轻衣分享使用 AI 工具的经验和想法 组队提升工作效率 AI 技术在 3D 动画制作中的应用与优势 链接:https://waytoagi.feishu.cn/minutes/obcnc915891t51l64uyonvp2?t=0 2. AI 大神 Karpathy 再发 LLM 入门介绍视频 神经网络训练的目标:训练神经网络的目标是让模型学习 token 在序列中彼此跟随的统计关系,即预测给定上下文(token 序列)后,下一个最有可能出现的 token。 Token 窗口:训练时,模型从数据集中随机抽取固定长度的 token 窗口(例如 8000 个 token)作为输入。 神经网络的输入与输出:输入为 Token 序列(上下文),输出为预测下一个 token 的概率分布,词汇表中每个 token 都有一个概率值。 随机初始化与迭代更新:神经网络初始参数是随机的,预测也是随机的。训练过程通过迭代更新参数,调整预测结果,使其与训练数据中的统计模式相匹配。 损失函数与优化:训练过程使用损失函数来衡量模型预测与真实 token 的差距。优化算法(如梯度下降)用于调整参数,最小化损失函数,提高预测准确率。 神经网络内部结构:Transformer 包含注意力机制和多层感知器等组件,能够有效地处理序列数据并捕捉 token 之间的复杂关系。 链接:无
2025-04-12
想自学ai训练师
如果您想自学成为 AI 训练师,以下是一些相关的知识和建议: 一、AI 训练的基本概念 训练是指通过大数据训练出一个复杂的神经网络模型。这需要使用大量标记过的数据来训练相应的系统,使其能够适应特定的功能。训练过程需要较高的计算性能,能够处理海量的数据,并具有一定的通用性,以便完成各种各样的学习任务。 二、相关领域的知识 1. 机器学习:机器学习是人工智能的一个分支,是实现人工智能的途径之一,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。 2. 自然语言处理:自然语言(NLP)认知和理解是让电脑把输入的语言变成有意思的符号和关系,然后根据目的再处理。自然语言生成系统则是把计算机数据转化为自然语言,是人工智能和语言学领域的分支学科。 三、学习资源和实践 您可以参考以下的一些资源和实践方式: 1. 参加相关的线上交流会,例如 3 月 26 日的自由讨论活动,其中会分享项目经验、技能以及使用 AI 工具的经验和想法。 2. 了解一些健身的 AI 产品,如 Keep(https://keep.com/)、Fiture(https://www.fiture.com/)、Fitness AI(https://www.fitnessai.com/)、Planfit(https://planfit.ai/)等,虽然这些主要是健身领域的应用,但也能帮助您了解 AI 在不同场景中的应用和创新。 请注意,以上内容由 AI 大模型生成,请仔细甄别。
2025-04-12
怎么用把AI训练成自己的东西?
要将 AI 训练成自己的东西,可以参考以下方法: 1. 像马斯克提到的,对于公开的推文数据可以合理使用,但不能使用私人的东西进行训练。同时,要注重数据的质量和使用方式,高质量的数据对于训练效果至关重要。 2. 张梦飞的方法中,例如部署 LLama Factory 时,需要添加选中“identity”数据集,将训练轮数改成 15 等,并通过一系列操作进行训练和测试。但需要注意的是,训练大模型是复杂的过程,数据集和训练参数都会影响最终效果,需要反复调试和深入学习实践。 3. 在写作方面,我们可以根据自身需求选择人类驱动为主,利用 AI 进行修改完善,或者先由 AI 生成内容再进行修改以符合自己的风格。
2025-04-11
如何训练一个AI 阅读教练
训练一个 AI 可以类比为培养一位职场新人,主要包括以下三个阶段: 1. 规划阶段:明确目标 确定 AI 的具体任务,比如结构化外文精读等。 将任务拆解为可管理的子任务。 设计每个子任务的执行方法。 2. 实施阶段:实战指导 搭建工作流程。 为每个子任务设置清晰的操作指南。 像指导新员工一样,手把手引导 AI 完成任务,并及时验证其输出质量。 3. 优化阶段:持续改进 通过反复测试和调整,不断优化 AI 的性能。 调整工作流程和 Prompt 配置,直到 AI 能稳定输出高质量的结果。 当前大模型在处理多步骤复杂任务时存在明显局限,比如在“数据分析图表、剧情游戏”或“本文结构化外文精读”等任务中,仅依靠单一 Prompt 指令难以稳定执行,现阶段的 AI 更像缺乏独立解决问题能力的职场新人,需要遵循指引和给定的流程才能完成特定任务。如果您已经完全了解上述内容,不妨自己设定一个任务目标,动手构建一个专属于自己的 AI 。
2025-04-11
模型训练的基本名词和方法
以下是关于模型训练的基本名词和方法的介绍: 基本名词: 1. 过拟合&欠拟合:过拟合和欠拟合都是不好的现象,需要加以控制以让模型达到理想效果。解决方法包括调整训练集、正则化和训练参数等,过拟合可减少训练集素材量,欠拟合则增加训练集素材量。 2. 泛化性:泛化性不好的模型难以适应其他风格和多样的创作。可通过跑 lora 模型生图测试判断泛化性,解决办法与过拟合和欠拟合类似,从训练集、正则化、训练参数等方面调整。 3. 正则化:是解决过拟合和欠拟合情况、提高泛化性的手段,给模型加规则和约束,限制优化参数,有效防止过拟合,提高模型适应不同情况的表现和泛化性。 方法: 1. 全面充分采集训练素材:例如在角色训练素材中,应包含各种角度、表情、光线等情况的素材,确保模型具有较好泛化性。 2. 图像预处理:对训练素材进行分辨率调整、裁切操作,并对训练集进行打标签处理。 3. 参数调优:尽量将训练时长控制在半小时左右,过长易导致过拟合,通过调整参数控制时长。 4. 观察学习曲线:通过观察学习曲线来调整训练素材和参数。 5. 过拟合&欠拟合处理:测试训练好的模型,观察过拟合和欠拟合问题,进一步通过调整训练素材和正则化等手段优化。 此外,在模型训练中还需注意: 1. 数据集获取渠道:可通过网上收集、购买、使用无版权问题的如古画等,原则是根据生成图的需求找对应数据集,要清晰、主体元素干净、风格统一。 2. 数据集处理:包括基础处理如裁剪保证清晰和分辨率,更重要的是写标注。 3. 设置模型触发词:可自定义,完整形式可以是一句话,建议以王 flags 模型为主。 4. 统一标注风格与应用场景:例如未来高科技 3D 天然风格,用于互联网首页图像等,并概括主题内容、描述物体特征等。 5. 利用 GPT 辅助描述并人工审核:让 GPT 按要求描述,人工审核修改。 6. 模型训练的准备与流程:完成数据集描述后进入训练流程,选择模型训练分类和数据集,创建并上传数据集压缩包,注意数据名与图片命名一致。选择训练模式和参数,新手选用普通基础模式,训练集质量重要,训练参数中总步数与训练集图片数量相关,触发词设定要避免概念混乱。
2025-04-09
人脸识别软件
以下是为您整合的关于人脸识别软件的相关信息: 在“【已结束】AI 创客松 参与同学自我介绍和分类”中,Dylan 擅长人脸识别算法和动作捕捉产品。 在“SmartBotX 模块化桌面机器人——说明文档”中,桌面客户端提供面部识别或跟踪功能的展示,可能用于安全监控、用户识别或交互式体验。 在“14、LayerStyle 副本”中,使用 YoloV8 模型可以检测人脸、手部 box 区域或者人物分割,支持输出所选择数量的通道。同时,Mediapipe 模型可以检测人脸五官,分割左右眉、眼睛、嘴唇和牙齿。
2025-04-12
本地人脸识别工具
以下为一些本地人脸识别工具的相关信息: PersonMaskUltra:为人物生成脸、头发、身体皮肤、衣服或配饰的遮罩。具有超高的边缘细节,模型代码来自。节点选项包括:face(脸部识别)、hair(头发识别)、body(身体皮肤识别)、clothes(衣服识别)、accessories(配饰识别)、background(背景识别)、confidence(识别阈值)、detail_range(边缘细节范围)、black_point(边缘黑色采样阈值)、white_point(边缘黑色采样阈值)、process_detail(设为 False 将跳过边缘处理以节省运行时间)。还有 V2 升级版 PersonMaskUltraV2,增加了 VITMatte 边缘处理方法,在 PersonMaskUltra 的基础上改变了 detail_method(边缘处理方法)、detail_erode(遮罩边缘向内侵蚀范围)、detail_dilate(遮罩边缘向外扩张范围)。 YoloV8Detect:使用 YoloV8 模型检测人脸、手部 box 区域,或者人物分割。支持输出所选择数量的通道。需在下载模型文件并放到 ComfyUI/models/yolo 文件夹。节点选项包括:yolo_model(yolo 模型选择)、mask_merge(选择合并的遮罩)。输出包括 mask(输出的遮罩)、yolo_plot_image(yolo 识别结果预览图)、yolo_masks(yolo 识别出来的所有遮罩)。 MediapipeFacialSegment:使用 Mediapipe 模型检测人脸五官,分割左右眉、眼睛、嘴唇和牙齿。节点选项包括:left_eye(左眼识别开关)、left_eyebrow(左眉识别开关)、right_eye(右眼识别开关)、right_eyebrow(右眉识别开关)、lips(嘴唇识别开关)、tooth(牙齿识别开关)。 此外,关于 AI 换脸,有开源免费的解决方案 facefusion: 本机解决方案:需要 python 环境及安装多个依赖软件,对编程知识有一定要求,且运行推理计算速度依赖 GPU,本地计算机若无 GPU 或 GPU 显存较小,执行速度缓慢,不推荐本地化安装。 云服务解决方案:可利用云厂商如阿里云的 PAI 和 AutoDL 已提供的大模型运行环境和计算能力,需产生一定费用。以 AutoDL 为例,注册后在算力市场中选择可接受价格的算力服务器,建议选取 GPU 配置更高的算力设备。通过在算法社区查找 facefusion 镜像,选择合适的镜像启动 GPU 服务器。
2025-04-12
人脸识别
以下是关于人脸识别的相关信息: SmartBotX 模块化桌面机器人的桌面客户端提供面部识别或跟踪功能的展示,可能用于安全监控、用户识别或交互式体验。 设计:AIGC 世代的设计新范式 ver 东华.pdf 中提到了人脸识别相关技术,如 MTCNN、Centerface、LUVLi Face Alignment 等人脸检测和人脸对齐技术,以及 InsightFace 等人脸识别技术。 LayerStyle 副本中的 PersonMaskUltra 节点具有脸部、头发、身体皮肤、衣服、配饰和背景等的识别功能,还包括识别阈值、边缘细节范围、黑色和白色采样阈值等节点选项。PersonMaskUltraV2 是其升级版,增加了 VITMatte 边缘处理方法,并对边缘处理做了相关改变。
2025-04-12
我需要找到一个方法来把我爷爷迷迷糊糊的老照片上的样子生成样貌特征完全一致的数字人脸,如何可以实现?
以下是一种可能实现将您爷爷老照片生成数字人脸的方法: 1. 利用剪映软件: 在剪映右侧窗口顶部,打开“数字人”选项,选取一位免费且适合的数字人形象,比如“婉婉青春”。 软件会播放数字人的声音,您可判断是否需要,点击右下角“添加数字人”,将其添加到当前视频中。剪映会根据提供的内容生成对应音视频并添加到轨道中。 左下角会提示渲染完成时间,之后可点击预览按钮查看效果。 为让视频更美观,可增加背景图片。删除先前导入的文本内容,点击左上角“媒体”菜单并“导入”本地图片,将其添加到视频轨道上(会覆盖数字人)。 拖动背景图的角将其放大到适合尺寸,将数字人拖动到合适位置。 点击文本智能字幕识别字幕,点击开始识别,软件会自动将文字智能分段并形成字幕。 完成后点击右上角“导出”按钮导出视频备用。 2. 若希望数字人脸换成特定的面孔,可能需要使用其他工具进行换脸。 3. 对于老照片的处理,还可以启用 MutiDiffusion 插件,不开放大倍数,仅使用分块渲染功能,在显存不够的情况下放大图片。 对于复杂的老照片,可先在 ps 里进行角度调整和照片裁切,然后上色。若直接上色效果不佳,可放弃人物服装颜色指定,只给场景方向,让 AI 自行决定。 可加入第二个 controlnet 来控制颜色,使用 t2ia_color 模型,给出简单的关键词,如“蓝天、绿树、灰石砖”。最后经过脸部修复和放大得到最终效果。
2025-03-06
两张照片还原人脸,用什么AI工具
以下是一些可用于两张照片还原人脸的 AI 工具和方法: 1. Stable Diffusion: 启用 MutiDiffusion 插件,不开放大倍数,仅使用分块渲染功能,在显存不够时放大图片。 利用 GFPGAN 算法将人脸变清晰,可参考文章。 将图片发送到图生图中,打开 stableSR 脚本放大两倍,切换到 sd2.1 模型进行修复,vae 选择 vqgan,提示词可不写。 2. Midjourney(MJ):加上简单的相机参数、写实风格,使用 MJ v 6.0 绘图,可调整图片比例。 3. InsightFaceSwap: 输入“/saveid”,idname 可随意填写,上传原图。 换脸操作输入“/swapid”,id 填写之前设置的名称,上传分割好的图。 选择效果较好的图片,注意插件每日免费使用次数。 此外,还会用到 PS 进行图片的角度调整、裁切、裁剪、拼接等操作。
2025-02-21
怎么替换视频或图片中的人脸
以下是替换视频或图片中人脸的几种方法: 方法一:使用 SD 中的 Roop 插件 1. 安装 Roop 插件,安装时间较长需耐心等待。安装好后打开 SD 文件目录下的特定文件夹,在地址栏输入“cmd”并回车。 2. 在打开的 dos 界面中粘贴“python m pip install insightface==0.7.3 user”代码自动安装 insightface。若此阶段出错,建议下载最新的秋叶 4.2 整合包(6 月 23 号更新),在云盘后台回复【SD】可下载。 3. 安装完成后重新打开启动器,后台会继续下载模型,全程需科学上网。 4. 选用真实系模型“realisticVisionV20”,得到照片。 5. 启用 ROOP 插件,选择要替换的人物照片,面部修复选择“GFPGAN”,根据需求设置右边的参数。 6. 点击生成,若人脸像素偏低模糊,可将图发送到“图生图”,开较小重绘幅度,使用 controlnet 中的 tile 模型进行重绘。 方法:使用 TecCreative 工具 1. 对于图片换脸,仅需上传原始图片和换脸图片,然后点击开始生成。注意图片大小上限 5M,支持 JPG、PNG 格式。 2. 对于视频换脸,上传原始视频和换脸图片后点击生成。 方法:使用快捷工具中的 facefusion 1. 点击快捷工具中顶部的“JupyterLab”打开工具,通过终端启动 facefusion。 2. 点击顶部的“+”号选项卡,新打开一个终端窗口。 3. 在终端区域启动终端选项卡,输入 3 条命令: 输入“ls”并按回车查看文件列表。 输入“cd facefusion”并按回车进入程序目录。 输入“python./run.py executionproviders cuda cpu”启动程序。 4. 当出现提示信息说明启动成功。 5. 打开 facefusion 软件,返回实例列表,点击自定义服务按钮,通过新的浏览器窗口访问 facefusion 的 UI 界面。 6. 在软件界面上传准备好的图片、视频,在右侧查看预览效果,点击开始按钮执行换脸处理。处理完成后在输出位置下载处理后的视频。 特别提醒,此类插件需谨慎使用,切勿触犯法律。如果想要 Roop 插件,可以添加公众号【白马与少年】,回复【SD】即可。推荐使用最新的秋叶整合包,出错概率最小,另外,科学上网很重要。
2025-02-01