Sora 是使用大模型技术的。周鸿祎认为 Open AI 训练这个模型会阅读大量视频，大模型加上 Diffusion 技术需要对世界进一步了解，学习样本以视频和摄像头捕捉到的画面为主。Sora 在训练数据上采用在原始尺寸上进行训练的策略，避免了传统 AI 对人为抽象的依赖。此外，Sora 还采用了一些数据预处理技术，如将视觉图块压缩成低维潜在表示，并将其排列成序列，注入噪声后输入扩散变换器的输入层，同时采用时空分块化来降低后续对时间信息建模的复杂性。这种对原始视频和图像特征的细腻处理标志着生成模型领域的重大进步。
我们讨论了Sora可能使用的两种数据预处理的技术解决方案。这两种解决方案都是在图块级别执行的，因为它们对于建模具有灵活性和可扩展性的特点。与之前将视频调整大小、裁剪或修剪到标准大小的方法不同，Sora在其原生大小上进行训练。尽管有几个好处（详见第3.2.1节分析），但它带来了一些技术挑战，其中最显著的是，神经网络不能固有地处理具有可变持续时间、分辨率和纵横比的视觉数据。通过逆向工程，我们相信Sora首先将视觉图块压缩成低维潜在表示，并将这样的潜在图块或进一步图块化的潜在图块排列成序列，然后将噪声注入这些潜在图块中。在将它们输入扩散变换器的输入层之前。Sora采用了时空分块化，因为它易于实现，并且可以通过高信息密度的令牌有效减少上下文长度，并降低后续对时间信息建模的复杂性。对于研究社区，我们推荐使用成本效益高的替代解决方案进行视频压缩和表示，包括利用预训练的检查点（例如，压缩网络）[47]，缩短上下文窗口，使用轻量级建模机制如（分组的）多查询注意力[48,49]或高效的架构（例如，Mamba[50]），必要时对数据进行下采样和丢弃令牌。视频建模的效果与效率之间的权衡是一个重要的研究课题。[heading3]3.2.6扩散变换器[content]图11：DiT（左）和U-ViT（右）的整体框架。
这种对原始视频和图像特征的细腻理解和保留标志着生成模型领域的一个重大进步。Sora的方法不仅展示了生成更真实和吸引人视频的潜力，而且还强调了在训练数据中的多样性对于在生成AI中实现高质量结果的重要性。Sora的训练方法与Richard Sutton的《苦涩的教训》[30]的核心原则一致，该原则指出，利用计算而不是人为设计的特征，可以导致更有效和灵活的AI系统。正如扩散变换器的原始设计寻求简单性和可扩展性[31]，Sora在原始尺寸上训练数据的策略避免了传统AI对人为抽象的依赖，而是选择了一种随着计算能力扩展的通用方法。在本节的其余部分，我们尝试对Sora的架构设计进行逆向工程，并讨论实现这一惊人特性的相关技术。
所以这次Sora只是小试牛刀，它展现的不仅仅是一个视频制作的能力，它展现的是大模型对真实世界有了理解和模拟之后，会带来新的成果和突破。第五，Open Al训练这个模型应该会阅读大量视频。大模型加上Diffusion技术需要对这个世界进行进一步了解，学习样本就会以视频和摄像头捕捉到的画面为主。一旦人工智能接上摄像头，把所有的电影都看一遍，把YouTube上和TikTok的视频都看一遍，对世界的理解将远远超过文字学习，一幅图胜过千言万语，而视频传递的信息量又远远超过一幅图，这就离AGI真的就不远了，不是10年20年的问题，可能一两年很快就可以实现。由锤子便签发送via Smartisan Notes