Stable Diffusion 的官方网址如下:
AIGC:AI generated content,又称为生成式AI,意为人工智能生成内容。例如AI文本续写,文字转图像的AI图、AI主持人等,都属于AIGC的应用。类似的名词缩写还有UGC(普通用户生产),PGC(专业用户生产)等。能进行AIGC的产品项目也很多,能进行AIGC的媒介也很多包括且不限于语言文字类:OpenAI的GPT,Google的Bard,百度的文心一言,还有一种国内大佬下场要做的的LLM都是语言类的。语音声音类:Google的WaveNet,微软的Deep Nerual Network,百度的DeepSpeech等,还有合成AI孙燕姿大火的开源模型Sovits。图片美术类:早期有GEN等图片识别/生成技术,去年大热的扩散模型又带火了我们比较熟悉的、生成质量无敌的Midjourney,先驱者谷歌的Disco Diffusion,一直在排队测试的OpenAI的Dalle·2,以及stability ai和runaway共同推出的Stable Diffusion...[heading1]SD是什么?[content]SD是Stable Diffusion的简称。是它是由初创公司StabilityAI、CompVis与Runway合作开发,2022年发布的深度学习文本到图像生成模型。它主要用于根据文本的描述产生详细图像。Stable Diffusion是一种扩散模型(diffusion model)的变体,叫做“潜在扩散模型”(latent diffusion model;LDM)。SD的代码模型权重已公开发布,可以在大多数配备有适度GPU的电脑硬件上运行。当前版本为2.1稳定版(2022.12.7)。源代码库:github.com/Stability-AI/stablediffusion我们可以通过一系列的工具搭建准备,使用SD进行想要的图片aigc(心想事成的魔法施与)。
的去噪结果。然而,这种迭代性质在计算效率上带来了挑战,特别是在处理大尺寸图像和大量扩散步骤(T)时。在采样过程中,从高斯噪声中去噪图像可能需要很长时间。为了解决这一问题,一组研究人员提出了一种新的方法,称为稳定扩散(Stable Diffusion),最初称为潜在扩散模型(Latent Diffusion Models)Stable DiffusionStable Diffusion是一种扩散模型(diffusion model)的变体,叫做“潜在扩散模[heading1]型”(Latent Diffusion Models)[content]CLIP将用户输入的Prompt文本转化成text embedding核心的组件VAE Encoder-DecoderUNETUNET进行迭代降噪,在文本引导下进行多轮预测High-Resolution Image Synthesis with Latent Diffusion ModelsComfyUI存放路径:models/checkpoints/SD1.5SD基础预训练模型SDXLSD1.5模型实例SDXL训练方法DreamBooth,by GoogleEMA-only&pruned VS FullFP16&FP32格式.pt VS.safetensorBake in VAE模型自带已适配的VAESD微调模型概念学习Checkpoint作用source:stable-diffusion-art.com/models/#How_are_models_created1puppy训练要求sd1.512G VARMSDXL16G VARMThe merged model sits between the realistic F222 and the anime Anything V3styles.It is a very good model for generating illustration art with human figures.(source:stable-diffusion-art.com/models/#Example_of_a_merged_model)融合模型checkpoint+checkpointLora+Lora形式checkpoint+LoraBaking VAE
SD 1.4官方项目:[CompVis/stable-diffusion](https://link.zhihu.com/?target=https%3A//github.com/CompVis/stable-diffusion)SD 1.5官方项目:[runwayml/stable-diffusion](https://link.zhihu.com/?target=https%3A//github.com/runwayml/stable-diffusion)SD 2.x官方项目:[Stability-AI/stablediffusion](https://link.zhihu.com/?target=https%3A//github.com/Stability-AI/stablediffusion)diffusers库中的SD代码pipelines:[diffusers/pipelines/stable_diffusion](https://link.zhihu.com/?target=https%3A//github.com/huggingface/diffusers/tree/main/src/diffusers/pipelines/stable_diffusion)SD核心论文:[High-Resolution Image Synthesis with Latent Diffusion Models](https://link.zhihu.com/?target=https%3A//arxiv.org/abs/2112.10752)SD Turbo技术报告:[adversarial_diffusion_distillation](https://link.zhihu.com/?target=https%3A//static1.squarespace.com/static/6213c340453c3f502425776e/t/65663480a92fba51d0e1023f/1701197769659/adversarial_diffusion_distillation.pdf)