以下是关于听音乐制作画面的相关内容:
在《AI 你·南京》AIGC 城市宣传 MV 全流程制作中,歌曲创作完成后进行分镜脚本创作。由于 AI 视频制作的特殊性,分镜直接决定最终视频呈现效果。根据音乐生成画面分为三类:有歌词部分用 midjourney 生成,无歌词部分如前奏用 SD 制作字体设计,转场用 deforum 制作。同时,让 gpt 按每段歌词生成 mj 提示词,虽只是大概参考,仍需调整编写。如开篇构思融入古筝和弹古筝女子,通过多种方式解决画面生成中的问题。
在 KEEN 的离谱村系列 2 音乐制作中,影片作者为 KEEN,配乐的主要 Prompt 设计由 GPT4 完成,音乐制作由 Suno 负责。提供了相关历史记录、操作指北及配乐的链接。
在桂大羊的 AI 视频短片制作中,使用 Suno 生成音乐,共生成 30 首歌曲并挑选符合视频节奏的背景音乐。人物对白选择用 ondoku 配音,后期合成主要用剪映,会根据情况重新生成画面视频补充,视频轨道层包括台词层、效果层、视频画面、人声台词、音效、背景音乐等。
歌曲创作完成之后就是要给视频出分镜脚本,但是这个分镜脚本和真正影视拍摄里的分镜还不太一样。影视里的分镜是给拍摄提供依据的,是剧本和实际拍摄之间的一个桥梁。但是由于AI视频制作的特殊性,我们其实是没有拍摄的实际过程的,而是通过图生视频来直接生成,所以我们的分镜就直接决定了最终视频呈现效果的好坏。我们现在就需要根据音乐来进行画面的生成。画面的生成我分成了三个大类:一类是有歌词的部分,我打算用midjourney来进行生成,它的画面美感是顶级的;第二类是无歌词的部分,比如长达20秒的前奏,这里我打算使用SD来制作南京12个区的字体设计,包括主标题的设计;第三类是转场,比如主歌进副歌的时候,需要让镜头之间更有设计感,我选择使用deforum来进行制作。虽然有了歌词,但是我还是需要一些具体的画面描述,所以接下来,我就让gpt帮我按照每段歌词生成了一系列的mj提示词。当然这些提示词只是一个大概的画面参考,具体的还是需要我们去调整和编写。比如开头的部分,歌词并没有体现,所以我们需要我们自己去构思。我在创作这个歌曲的时候就想过融入古筝这个传统乐器,所以在开篇的时候我就想过通过一名弹古筝的女子来引入。为了增加神秘感,我希望画面的开篇是女子的背景,然后镜头慢慢的拉进。但是在mj出图的过程中,虽然画出了背对画面的女子,但是古筝的位置一直不对,甚至还出现了反弹古筝的诡异姿势。于是我打算曲线救国,首先使用对语义理解最准确的DALL·E3来绘制出我们需要的构图。然后再使用垫图的方式给到mj,就画出了我想要的构图。
本影片的作者制作人:KEEN欢迎关注公众号:智音Brook以下是所有配乐,主要Prompt设计:GPT4,音乐制作:Suno历史记录非常干货教程[Suno AI创作案例复盘](https://waytoagi.feishu.cn/wiki/IokdwwFGoiR2Pik2fwBcH1zQn0g)[Suno操作指北V2](https://waytoagi.feishu.cn/wiki/D1DOwPS5ei5EkckZHUvcVjpEnff)[Suno操作指北V1](https://waytoagi.feishu.cn/wiki/PhTwwHp1QiNdoFknip1cLwysntd)开头进入,在橘猫讲“Even more outrageous?kind of interesting”的时候音乐淡出结束[离谱村歌.mp3](https://bytedance.feishu.cn/space/api/box/stream/download/all/RCCTbVXOooA2nfxQsvIcyMb4nOb?allow_redirect=1)橘猫抽雪茄部分淡入,到浣熊说“That's it!”的时候淡出结束[配乐2.mp3](https://bytedance.feishu.cn/space/api/box/stream/download/all/FJRNb9PEIoE6eAxmLVicf8h4n7d?allow_redirect=1)第二张显示器位置淡入,到离谱熊说“Outrageous contests?Cool,no problem!”的时候淡出结束[配乐3.mp3](https://bytedance.feishu.cn/space/api/box/stream/download/all/Im4RbQRZHoxRlBxNjEgcOptHnpc?allow_redirect=1)
[2058d81834f871ef80020764a0ec0102.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/VFW1bOnqGoGGldxZbyAciduhnNd?allow_redirect=1)[8041702d34f871ef97106733a68f0102.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/NxwqbPOnXoaeuhxAdj6cx7HHnDc?allow_redirect=1)AI生成音乐的工具使用的是Suno,它能够根据用户对音乐的具体描述,快速生成符合预期的音乐作品。这不仅能够为我们的视频增添独特的音乐元素,也能进一步提升视频作品的艺术性和观赏性。本次制作共生成了30首歌曲,从中挑选出符合视频节奏的背景音乐。本次人物对白比较简单,经过对比我们选择了即开即用的ondoku进行配音,输入文字后就可以快速得到配音文件。后期合成主要使用了剪映,即梦AI生成的视频时长是3秒钟,并非整个3秒都能使用,根据剧本和画面内容,需要做部分截取。合成的过程中,会发现画面内容出现不协调情况,或者出现画面内容缺少的情况,需要重新生成画面视频进行补充。不过大多数情况下,画面原有的素材能够应对剪辑工作。视频音乐再合成时也可以进行画面匹配后再听听音乐是否协调。视频轨道层分别是:台词层、效果层(关键帧、蒙版)、视频画面(AI生成的视频画面加闭幕)、人声台词、音效、背景音乐。