可以使用 Stable Diffusion 模型按照要求直接修改图片。Stable Diffusion 是一款功能强大的 AI 绘画工具,能够根据用户提供的文本描述或已有的图片,生成逼真的绘画作品。具体操作步骤如下:
需要注意的是,Stable Diffusion 是一款非常强大的 AI 绘画工具,但它并不是万能的。在使用 Stable Diffusion 进行图片修改时,你需要有一定的绘画基础和经验,以便更好地控制图片的效果。同时,由于 Stable Diffusion 是基于 AI 技术生成图片的,因此在某些情况下,生成的图片可能会与你的预期有所不同。
但有的时候,我们需要更精确一点的蒙版,比如人物的眼睛,或者是身上的配饰等等。单靠SAM模型就很难得到想要的蒙版了,这个时候我们就需要使用到segment anything中的GroundingDINO了。启用GroundingDINO,AI会自动下载模型,此时会需要用魔法,没有魔法的同学可以去我的云盘直接下载。放到这个文件目录下“……sd-webui-aki-v4.2extensionssd-webui-segment-anythingmodelsgrounding-dino”点击启用,在检测提示词中输入“eye”,AI就可以根据语义分割帮我们自动检测出眼睛的部分,并设置好蒙版。我们还可以通过预览箱体,来得到两只眼睛的编号,通过编号可以选择调整单一的眼睛。比如,我只想调整左边那只眼睛,我就只需要勾选1就可以了。和刚才一样,选择我们想要修改的蒙版,上传到重绘蒙版当中。添加提示词“闭眼”。点击生成,可以看到图片就修改好了。我们再来给人物换个背景试试,加载刚才生成的背景蒙版。大模型选择revAnimated_v122,正向提示词:简单背景、花、国画、工笔。蒙版模式选择“重绘非蒙版内容”。得到这张图片,头发的部分没有抠太好。
再生成时就没有图案了。绘图功能的话,每次生成都会重新调整整个画面,但是局部重绘的话可以只改变我们涂抹的部分,现在我们将人物的头部涂抹掉,文字提示改为“一个粉色头发的女孩的脸”,点击生成,就可以将头部换掉了。我们再使用局部重绘(手涂蒙版),修改一下帽子的部分,增加提示词“猫耳”,点击生成。我们将这幅图再次放入以图生图中,通过DeepBooru反推关键词,并使用一个新的大模型“AbyssOrangeMix2”和LORA“blindbox”进行重新生成,便将图片改成了这种2.5D的人物风格。当然,目前的图还有不少细节上的瑕疵,我们需要不断地调整参数去让绘图更接近我们想要的状态,包括后期借助PS来进行修补也是非常必要的。但是,我们也能看到图生图功能又拥有的巨大潜力,AI绘图的可操作性方面拥有了更多的想象空间。-END-白马与少年Stable Diffusion、Blender等学习心得分享139篇原创内容(持续更新中)公众号微信扫一扫关注该公众号
除了链接里面给大家分享的模型,大家肯定还想去找更多更好看的模型而大多数的模型都是在Civitai(C站)这个网站里面https://civitai.com/现在就给大家说一下C站的使用方法:01.科学上网这个没法教,大家只能自己想办法了02.点击右上角的筛选按钮,在框框里面找到自己需要的模型类型Checkpoint=大模型LoRA=Lora常用的就是这两个03.看照片,看到感兴趣的就点进去点击右边的“Download”,也就是下载,保存到电脑本地,文件保存到哪里在这一节的第二部分另外,我们还可以点击左上角的“Images”这里就是看别人已经做好的图片,找到喜欢的点进去点进去之后的页面我们就可以看到这张图的全部信息,直接点击Lora和大模型,可以直接跳转到下载页面下面的就是照片关键词和其他信息点击最下面的“Copy...Data”就可以复制图片的所有信息回到SD,粘贴到关键词的文本框,点击右边的按钮这些信息就会自动分配要注意的就是,大模型是需要我们手动去换的!这样我们就可以生成出跟大神几乎一样的照片了!(电脑网络配置的不同,出来的照片有细微差别)