SD 是 Stable Diffusion 的简称。它是由初创公司 StabilityAI、CompVis 与 Runway 合作开发,于 2022 年发布的深度学习文本到图像生成模型,主要用于根据文本的描述产生详细图像。Stable Diffusion 是一种扩散模型(diffusion model)的变体,叫做“潜在扩散模型”(latent diffusion model;LDM)。其代码模型权重已公开发布,可以在大多数配备有适度 GPU 的电脑硬件上运行,当前版本为 2.1 稳定版(2022.12.7)。源代码库:github.com/Stability-AI/stablediffusion 。我们可以通过一系列的工具搭建准备,使用 SD 进行想要的图片 AIGC 。
此外,还有与 SD 相关的 Fooocus,它使用的是最新推出的 SDXL 1.0 模型,对 stable diffusion 和 Midjourney 做了结合升级。保留了 SD 的开源属性,可以部署到本地免费使用,在操作界面吸取了 Midjourney 简洁的特点,省去了 WebUI 中复杂的参数调节,让用户可以专注于提示和图像。配置要求为本地部署,需要不低于 8GB 的内存和 4GB 的英伟达显卡。Fooocus 介绍/安装包下载:https://github.com/lllyasviel/Fooocus 。
另外,在 Video Battle 视频挑战中,有一种方法是使用 SD 的分支版本 CONTROLNET 大佬开发的 Forge,特点是支持图生视频、图生 SD,而且对低端显卡支持良好。下载链接为:https://github.com/lllyasviel/stable-diffusion-webui-forge/releases/download/latest/webui_forge_cu121_torch21.7z ,解压后,优先运行 update.bat 进行升级,然后再运行 run.bat ,接着就打开了和 SD 基本一模一样的界面。核心区别在于 FORGE 增加了 2 个王炸功能,SVD【图生视频】和 Z123【图生 3D】。
AIGC:AI generated content,又称为生成式AI,意为人工智能生成内容。例如AI文本续写,文字转图像的AI图、AI主持人等,都属于AIGC的应用。类似的名词缩写还有UGC(普通用户生产),PGC(专业用户生产)等。能进行AIGC的产品项目也很多,能进行AIGC的媒介也很多包括且不限于语言文字类:OpenAI的GPT,Google的Bard,百度的文心一言,还有一种国内大佬下场要做的的LLM都是语言类的。语音声音类:Google的WaveNet,微软的Deep Nerual Network,百度的DeepSpeech等,还有合成AI孙燕姿大火的开源模型Sovits。图片美术类:早期有GEN等图片识别/生成技术,去年大热的扩散模型又带火了我们比较熟悉的、生成质量无敌的Midjourney,先驱者谷歌的Disco Diffusion,一直在排队测试的OpenAI的Dalle·2,以及stability ai和runaway共同推出的Stable Diffusion...[heading1]SD是什么?[content]SD是Stable Diffusion的简称。是它是由初创公司StabilityAI、CompVis与Runway合作开发,2022年发布的深度学习文本到图像生成模型。它主要用于根据文本的描述产生详细图像。Stable Diffusion是一种扩散模型(diffusion model)的变体,叫做“潜在扩散模型”(latent diffusion model;LDM)。SD的代码模型权重已公开发布,可以在大多数配备有适度GPU的电脑硬件上运行。当前版本为2.1稳定版(2022.12.7)。源代码库:github.com/Stability-AI/stablediffusion我们可以通过一系列的工具搭建准备,使用SD进行想要的图片aigc(心想事成的魔法施与)。
Fooocus使用的是最新推出的SDXL 1.0模型,对stable diffusion和Midjourney做了结合升级:1、保留了SD的开源属性,可以部署到本地免费使用;2、在操作界面吸取了midjourney简洁,省去了WebUI中复杂的参数调节,让用户可以专注于提示和图像。下图就是Fooocus的操作界面。翻译一下:只有图像展示窗口、正向提示词和生成按钮3项。勾选“Advanced”会弹出高级设置的窗口,可以调整画面宽高比、风格、图像数量、种子值、反向提示词、模型、lora权重比值、图像锐利程度等。风格选项这一块是整合了各种常见的画面风格供选择,包含了100多种不同的预设风格,涉及写实、胶片、电影质感、动漫、水彩、黏土、3D、等距、像素、霓虹、赛博朋克、波普、纸艺等各个方面:高级选项这部分是用于设置模型,lora,清晰度等。非常简单且容易上手,很值得试一试。二、Fooocus安装:配置要求:本地部署,需要不低于8GB的内存和4GB的英伟达显卡。Fooocus介绍/安装包下载:https://github.com/lllyasviel/Fooocus(文末领取软件+模型整合包:16G)使用指南:https://github.com/lllyasviel/Fooocus/discussions/117大模型(base和Refiner)默认放在这里:\Fooocus_win64_1-1-10\Fooocus\models\checkpoints
本方法作者:来来联系方式:laiweb3(添加请注明AI视频)公众号/视频号/小红书/B站:来来说AI标签:20年设计师,10年大学设计老师,电商设计公司创始人10年,AI图书作者《一本书读懂AI绘画》《一本书读懂AIGC提示词2》[heading4]下载SD的分支版本CONTROLNET大佬开发的Forge[content]此版本特点是支持图生视频,图生SD,而且对低端显卡支持良好,这里是一个压缩包,直接下载,解压到英文文件夹即可。https://github.com/lllyasviel/stable-diffusion-webui-forge/releases/download/latest/webui_forge_cu121_torch21.7z[heading4]解压后,优先运行update.bat进行升级,然后再运行run.bat[content][heading4]接着就打开了和SD基本一模一样的界面[content]核心区别在于FORGE增加了2个王炸功能,SVD【图生视频】和Z123【图生3D】,而且这个也是CONTROL作者研发的,CN的很多新功能都直接内置。