以下是关于多张图片生成宣传视频的相关内容:
ComfyUI AniamteDiff 图片融合视频:
流量密码!小红书万赞英语视频用扣子一键批量生产:
用几张图片生成一个视频,重要的是,了解IPAdapter,Animatediff,controlNet的用法和这三个之间怎么通过蒙蔽遮罩灵活的搭配生成视频。这是整体的工作流,接下来了,按照不同的模块说明下他们分别的作用。[heading3]模型[content]模型加载用到两个lora,一个是Animatediff v3_sd15_mm运动模型需要的v3_sd15_adapter,关于lora的强度,这个强度越高,画面就越稳定,但是需要在合理的范围,另一个more_details这个lora是给画面添加更多的细节。模型和工作流会放在网盘里。[heading3]参数设置[content]这里我们上传4张图片,并且使用image batch复制图像来制作批次。为什么需要做这一步操作呢?这是为了在使用IPAdapter时候,每一帧都可以参考上传的图片,让风格迁移更像。上传的这个蒙版视频是为了在帧与帧之间做遮罩过渡,添加一个动态的效果。[heading3]IPAdapter[content]IPAdapter来做图像的风格迁移,对应四张图片。使用遮罩来控制每张图片显示的帧数,需要注意的是从第0帧开始计算,一张图片16帧,加上中间过渡的8帧,所以,我们在创建遮罩时候,就需要做如下的设置,需要显示的帧设置为1,隐藏的为0以此类推。这样我们就把4张图片融合成了一个96帧的序列,并且使用遮罩控制每一帧显示出来的画面。
ok,现在我们大概知道批量生成这样的图片需要搞清楚哪些参数,图片我也用html代码搞出来了那问题又来了,视频怎么搞?对啊,视频怎么搞??我想想?这种视频由多张不同的【带文字的图片】生成?对,图片要不同,那不同在哪呢??这个主要是教英语的内容,那我就在英语朗读部分不同把,那怎么不同呢??读到哪句,哪句就高亮起来??对,就这样?但是光是文字有变化,会不会太枯燥?图片能不能变??对喔,图片也可以,那就读到哪句话,哪句话两,图片也更正变?搞定,开干?最后,视频就是用下面这样的图片一张张拼起来的
那决定搞之后,我就开始思考生成这种视频的底层逻辑我开始逆推?这种视频→由多张带文字图片+音频合成?带文字图片→由文字+图片生成→文字和图片都可以由AI生成?音频→由文字生成→文字来源于图片?也就是说,最主要的是把图片和文字搞出来。拆解图大概是这样的[heading2]▶︎找模版[content]逻辑大概理清楚之后,我第一件事就是去找我觉得好看的模版,但是找来找去没找到好看的视频模版最后被我看到下面这个图片模版但这个是一个卡片模版,不是视频?算了,视频先不想,咱们先把图片搞出来搞出来才有资格继续思考怎么把这么一张图片变成视频搞不出来的话?大不了不发视频,先发图片,反正图片在小红书也很火?