以下是关于 Lora 训练的详细步骤:
创建数据集:
1. 进入厚德云模型训练数据集(https://portal.houdeyun.cn/sd/dataset)。
2. 在数据集一栏中,点击右上角创建数据集。
3. 输入数据集名称。
4. 可以上传包含图片+标签 txt 的 zip 文件,也可以只有图片后续使用自动打标功能。建议提前把图片和标签打包成 zip 上传,Zip 文件里图片名称与标签文件应当匹配,例如:图片名“1.png”,对应的达标文件就叫“1.txt”。
5. 上传 zip 以后等待一段时间,确认创建数据集。返回到上一个页面,等待一段时间后就会上传成功,可以点击详情检查,预览到数据集的图片以及对应的标签。
Lora 训练:
1. 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。
2. 选择数据集,点击右侧箭头,会跳出您所有上传过的数据集。
3. 触发词可有可无,取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。
4. 训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数。如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数。
5. 可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。
6. 然后等待训练,会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。
7. 鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。
此外,还有一些相关的补充信息:
1. 训练前要确保下载几个模型:t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。注意:不使用的话它们放到哪里都可以,甚至放一起一个文件夹,只要知道“路径”,后面要引用到“路径”。因为是训练,不是跑图,跑图可以寻求降低方案,训练的话,用 flux1dev.safetensors 这个版本,编码器用 t5xxl_fp16.safetensors 这个版本最好。
2. 下载脚本:
夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59
百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq
3. 安装虚拟环境:下载完解压,在文件中找到 installcnqinglong.ps1 这个文件,右键,选择“使用 PowerShell 运行”,新手的话这里就点击“Y”,然后等待 1 2 小时的漫长下载过程。下载完成后最后会提示是否下载 hunyuan 模型,选择 n 不用下载。
在使用 SD 训练一套贴纸 LoRA 模型时:
1. 原始形象:MJ 关键词:A drawing for a rabbit stickers,in the style of hallyu,screenshot,mori kei,duckcore plush doll art exaggerated poses,cry/happy/sad/...ar 3:4niji 5style cutes 180 。会得到不同风格的贴图,可以先看看自己喜欢哪一种。出图过程可以有意识地总结这一类贴图的特征,比如都是可爱的兔子、有不同的衣服和头饰、都有一双大大的卡通眼睛,会有不同的面部表情。
2. 注意事项:关键词中限制了颜色,因此 MJ 生成的图片会一种情绪对应一种颜色,所以同一种情绪最好多生成几张不同色系的,可以减少后续训练中模型把情绪和颜色做挂钩(如果需要这样的话,也可以反其道而行之)。数据集中正面情绪与负面情绪最好比例差不多,如果都是正面积极的,在出一些负面情时(sad,cry)的时候,可能会出现奇怪的问题(如我们训练的是兔子形象,但 ai 认知的 sad 可能是人的形象,可能会出现人物特征)。如果训练 256256 大小的表情包,这样的素材就已经够用了。如果要训练更高像素的图片,则需要进一步使用 MJ 垫图和高清扩展功能。比如从 256 高清化到 1024,输入左图,加入内容描述,加入风格描述,挑选合适的,选出新 30 张图片(卡通二次元类型的 lora 训练集 30 张差不多,真人 60 100 张)。
2025-03-06