以下是为您推荐的一些用于视频二创,如更换视频背景、人物衣服的相关 AI 工具:
?Xiaohu.AI日报「5月30日」✨✨✨✨✨✨✨✨1⃣️?️山寨版阿里AnimateAnyone开源:利用图像和视频中的人物姿势来合成动画。Novita AI开源并提供API支持。提供照片和视频,即可自动生成动画。?GitHub:https://github.com/novitalabs/AnimateAnyone?API:https://novita.ai/playground#animate-anyone?https://x.com/imxiaohu/status/17961914580529440722⃣️?ViViD视频虚拟试穿技术:阿里巴巴开发,可以替换视频中人物的衣服。生成真实自然的视频,支持多种服装类型。在视觉质量、时间一致性和细节保留方面表现优异。?https://x.com/imxiaohu/status/17960192446789063403⃣️?udio-130音乐生成模型:Udio新推出,生成2分钟的音频,提升曲目连贯性和结构。新增高级控制功能:随机种子、剪辑时间、提示词或歌词强度调节。?详细:https://xiaohu.ai/p/8738?https://x.com/imxiaohu/status/17959999028306292494⃣️?Codestral代码生成模型:Mistral AI推出,支持80多种编程语言,包括Python、Java、C等。自动完成代码、编写测试,并能填补未完成的代码部分。拥有32k上下文窗口,在多项基准测试中表现出色。?详细:https://mistral.ai/news/codestral/?https://x.com/imxiaohu/status/17959873507131929375⃣️?Suno音乐演示:新视频展示从任何声音创作歌曲。VOL-2:古典钢琴加法国手风琴,由钢琴家兼工程师Anessa表演。?https://x.com/imxiaohu/status/1795976717905043467
?Xiaohu.AI日报「5月30日」✨✨✨✨✨✨✨✨1⃣️?️山寨版阿里AnimateAnyone开源:利用图像和视频中的人物姿势来合成动画。Novita AI开源并提供API支持。提供照片和视频,即可自动生成动画。?GitHub:https://github.com/novitalabs/AnimateAnyone?API:https://novita.ai/playground#animate-anyone?https://x.com/imxiaohu/status/17961914580529440722⃣️?ViViD视频虚拟试穿技术:阿里巴巴开发,可以替换视频中人物的衣服。生成真实自然的视频,支持多种服装类型。在视觉质量、时间一致性和细节保留方面表现优异。?https://x.com/imxiaohu/status/17960192446789063403⃣️?udio-130音乐生成模型:Udio新推出,生成2分钟的音频,提升曲目连贯性和结构。新增高级控制功能:随机种子、剪辑时间、提示词或歌词强度调节。?详细:https://xiaohu.ai/p/8738?https://x.com/imxiaohu/status/17959999028306292494⃣️?Codestral代码生成模型:Mistral AI推出,支持80多种编程语言,包括Python、Java、C等。自动完成代码、编写测试,并能填补未完成的代码部分。拥有32k上下文窗口,在多项基准测试中表现出色。?详细:https://mistral.ai/news/codestral/?https://x.com/imxiaohu/status/17959873507131929375⃣️?Suno音乐演示:新视频展示从任何声音创作歌曲。VOL-2:古典钢琴加法国手风琴,由钢琴家兼工程师Anessa表演。?https://x.com/imxiaohu/status/1795976717905043467
但有的时候,我们需要更精确一点的蒙版,比如人物的眼睛,或者是身上的配饰等等。单靠SAM模型就很难得到想要的蒙版了,这个时候我们就需要使用到segment anything中的GroundingDINO了。启用GroundingDINO,AI会自动下载模型,此时会需要用魔法,没有魔法的同学可以去我的云盘直接下载。放到这个文件目录下“……sd-webui-aki-v4.2\extensions\sd-webui-segment-anything\models\grounding-dino”点击启用,在检测提示词中输入“eye”,AI就可以根据语义分割帮我们自动检测出眼睛的部分,并设置好蒙版。我们还可以通过预览箱体,来得到两只眼睛的编号,通过编号可以选择调整单一的眼睛。比如,我只想调整左边那只眼睛,我就只需要勾选1就可以了。和刚才一样,选择我们想要修改的蒙版,上传到重绘蒙版当中。添加提示词“闭眼”。点击生成,可以看到图片就修改好了。我们再来给人物换个背景试试,加载刚才生成的背景蒙版。大模型选择revAnimated_v122,正向提示词:简单背景、花、国画、工笔。蒙版模式选择“重绘非蒙版内容”。得到这张图片,头发的部分没有抠太好。我们将它再次放入图生图中,使用tile模型做一次整体细化,除了融合人物之外,还能给人物的衣服也添加上国风元素。生成,人物好像变得高级了一些。来到PS,使用创成式填充修复一下头发。完成啦。