以下是为您制定的学习 SD AI 绘图的详细计划及相关学习资源:
学习计划:
学习资源:
1.Stable Diffusion系列资源2.零基础深入浅出理解Stable Diffusion核心基础原理2.1通俗讲解Stable Diffusion模型工作流程(包含详细图解)2.2从0到1读懂Stable Diffusion模型核心基础原理(包含详细图解)2.3零基础读懂Stable Diffusion训练全过程(包含详细图解)2.4其他主流生成式模型介绍3.Stable Diffusion核心网络结构解析(全网最详细)3.1 SD模型整体架构初识3.2 VAE模型3.3 U-Net模型3.4 CLIP Text Encoder模型3.5 SD官方训练细节解析4.从0到1搭建使用Stable Diffusion模型进行AI绘画(全网最详细讲解)4.1零基础使用ComfyUI搭建Stable Diffusion推理流程4.2零基础使用SD.Next搭建Stable Diffusion推理流程4.3零基础使用Stable Diffusion WebUI搭建Stable Diffusion推理流程4.4零基础使用diffusers搭建Stable Diffusion推理流程4.5 Stable Diffusion生成示例5.Stable Diffusion经典应用场景5.1文本生成图像5.2图片生成图片5.3图像inpainting5.4使用controlnet辅助生成图片5.5超分辨率重建6.从0到1上手使用Stable Diffusion训练自己的AI绘画模型(全网最详细讲解)6.0 Stable Diffusion训练资源分享6.1 Stable Diffusion模型训练初识6.2配置训练环境与训练文件
SD模型权重百度云网盘:关注Rocky的公众号WeThinkIn,后台回复:SD模型,即可获得资源链接,包含Stable Diffusion 1.4模型权重、Stable Diffusion 1.5模型权重、Stable Diffusion I npainting模型权重、Stable Diffusion 2 base(512x512)模型权重、Stable Diffusion 2(768x768)模型权重、Stable Diffusion 2 Inpainting模型权重、Stable Diffusion 2.1 base(512x512)模型权重、Stable Diffusion 2.1(768x768)模型权重、Stable Diffusion Turbo模型权重、S table Diffusion x4 Upscaler(超分)模型权重以及consistency-decoder模型权重。不同格式的模型权重比如safetensors格式、ckpt格式、diffusers格式、FP16精度格式、ONNX格式、flax/jax格式以及openvino格式等均已包含。SD保姆级训练资源百度云网盘:关注Rocky的公众号WeThinkIn,后台回复:SD-Train,即可获得资源链接,包含数据处理、SD模型微调训练以及基于SD的LoRA模型训练代码全套资源,帮助大家从0到1快速上手训练属于自己的SD AI绘画模型。更多SD训练资源使用教程,请看本文第六章内容。Stable Diffusion中VAE,U-Net和CLIP三大模型的可视化网络结构图下载:关注Rocky的公众号WeThinkIn,后台回复:SD网络结构,即可获得网络结构图资源链接。
我们把训练脚本封装在accelerate库里,这样就能启动我们一开始配置的训练环境了,同时我们将刚才配置好的config_file.toml和sample_prompt.txt参数传入训练脚本中。接下里,就到了激动人心的时刻,我们只需在命令行输入以下命令,就能开始SD LoRA训练啦:当我们基于SD训练SD LoRA模型时,我们设置分辨率为1024+FP16精度+xformers加速时,进行Batch Size=1的微调训练需要约8G的显存,进行Batch Size=4的微调训练需要约19.1G的显存,所以想要微调训练SD LoRA模型,最好配置一个12G以上的显卡,能让我们更佳从容地进行训练。(5)加载SD LoRA模型进行AI绘画SD LoRA模型训练完成后,会将模型权重保存在我们之前设置的output_dir路径下。接下来,我们使用Stable Diffusion WebUI作为框架,加载SD LoRA模型进行AI绘画。在本文4.3节零基础使用Stable Diffusion WebUI搭建Stable Diffusion推理流程中,Rocky已经详细讲解了如何搭建Stable Diffusion WebUI框架,未使用过的朋友可以按照这个流程快速搭建起Stable Diffusion WebUI。要想使用SD LoRA进行AI绘画,首先我们需要将SD底模型和SD LoRA模型分别放入Stable Diffusion WebUI的/models/Stable-diffusion文件夹和/models/Lora文件夹下。然后我们在Stable Diffusion WebUI中分别选用底模型与LoRA即可:小丑女LoRA出图效果