视频生成

在文档中提到的从原始视频数据到模型训练再到模型生成视频的全流程包括以下步骤：数据准备：使用包括内部数据集和公开数据集在内的多种数据源，对图像和视频进行尺寸调整，包括空间上的抗锯齿双线性缩放和时间上的跳帧处理。模型训练：基础训练阶段使用正方形图像比例进行训练。在特定数据子集上对基础模型进行微调，以生成9:16比例的视频。采用了位置嵌入的插值和窗口尺寸的缩放。视频生成：首先使用图像LDM生成单帧图像。然后运行预测模型，以生成的单帧为条件，生成关键帧序列。在视频扩展时，再次调用预测模型，但以两帧（捕捉方向信息）为条件来生成连贯的运动。微调与优化：对于长时间视频生成，模型在帧预测任务上进行联合训练。在推断阶段，优化目标是加快小批量图像生成的速度。模型初始化：由于视频数据集规模相对较小，从预训练的图像模型（如ViT）初始化视频模型，以促进更有效的训练。

来自GoogleBrain的视频生成方法，可以通过文字描述生成可变长度的视频主要依赖两方面能力视频像素生成能力。依赖VQ-VAE的，主要借鉴了C-ViViT方法隐空间token预测能力。依赖encoder-only的双向transformer的完形填空能力，主要借鉴了MaskGIT方法C-ViViT训练第一个阶段参考了ViViT的做法，主要用VQ-VAE方法训练得到encoder、码本和decoder三个部件attention的方式是先做spatial的attention，然后做temporal的attentionC-ViViT做patch partition的时候，先把帧堆叠在一起形成的输入做没有overlap的时间和空间切分。每个patch在时间维度上，除了第一帧只有一帧，其余每个stride是包含连续的帧。因此第一帧的patch小方块大小为，其余patch的小方块大小为。经过线性映射层后统一变成了长度为的feature一共可以得到的token数为个，注意video视觉任务比LLM的sequence要长，因为每一帧都包含大量patch（例如256，512）C-ViViT把spatial和temporal的CLS token都去掉了，并且增加了causal transform的decoder-only的mask，这样可以在计算复杂度不爆表的情况下产生任意长度的C-ViViT decoder设计跟encoder反过来，先过temporal的attention，然后再是spatial的attention。训练使用VQ-VAE方式重建训练，训练结束得到离散的codebook，这样输入的video经过encoder转化为离散的codebook向量，然后再经过decoder得到pixel视频

模型结构详述：模型在训练时只调整添加的时间层和输入层参数，保持T2I模型参数固定。在输入端，通过VAE编码器和CLIP图像编码器注入图像信息，同时通过交叉注意力注入高级语义信息。1.?实验结果：核心实验结果：AtomoVideo在多个评估指标上优于现有的方法，包括图像一致性、时间一致性、视频-文本对齐、运动强度和视频质量。消融实验：通过对比实验，展示了在没有噪声先验的情况下，AtomoVideo如何通过图像信息注入和交叉注意力机制实现高保真度和运动强度。1.?总结归纳：AtomoVideo通过结合预训练的T2I模型和新添加的时间层，实现了高质量的图像到视频生成。该方法在保持与输入图像高保真度的同时，还能生成具有丰富运动强度的视频，且能够灵活适应长视频生成任务。6.❓引发思考的问题：AtomoVideo在处理复杂背景和动态对象时的表现如何？该框架在不同分辨率的输入图像上生成视频的一致性和质量如何？AtomoVideo在实际应用中，如电影制作或游戏开发，有哪些潜在的用途？如何进一步优化模型以提高生成视频的多样性和创造性？在训练过程中，如何平衡模型的计算效率和生成视频的质量？