可以生成产品3D视频的AI

Luma AI原本是一家3D生成公司，此前前官号推特上一直在发布3D模型相关信息，6月突然推出了AI视频生成产品Dream Machine，在那个时间节点上，Runway、Pika迟迟未发布新模型，Sora遥不可及，Luma AI可谓是横空出世。在海外独角兽的采访中，Luma首席科学家表示团队主要考虑两种方案来实现4D生成：一种是图像生成3D,再将3D动画转为4D；一种则是直接生成视频内容,然后将其转为4D，而Luma认为后者更具备潜力，并且能一定程度避开3D数据集不足的问题，这是Dream Machine诞生的原因。*4D=3D+时间，即在三维空间中随时间变化的对象或环境Luma视频生成时会关注一致性；深度信息（例如物体和镜头的距离、物体之间的远近）；光学（光的反射折射如何在不同介质中变化）；动态的物理现象。先看看6月我用1.0模型测试的效果，img2vid的能力非常强，能保证大幅度运动的情况下只有较少瑕疵，原图还原度也非常好。视频中每一段都是一次性输出的：[6月14日(1).mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/BqVfbBwJXo4HH5xeViBcogTOn8c?allow_redirect=1)Dream Machine 1.0时期测试Dream Machine支持通过文本指令和图像创建高质量、逼真的镜头，与Sora看得见但摸不着的体验相比，Luma AI为每个账号每月提供30次免费使用机会，但排队时间非常久。体验地址：https://lumalabs.ai

❌【没有主语+抽象叠buff】：在文生视频中，没有主语的描述等同于没有主体的内容，或用词组的描述方式，可能会导致模型无法理解您输入的内容导致生成视频结果不达您的预期，例如：“生长，茂盛”（产品OS：什么生长？什么茂盛？我是谁？我在哪？我要干什么？）“生成一个火热招募的场景”（产品OS：“生成一个”是什么意思？“火热招募”什么？）“风，雨，摇动，一个女孩，爆炸，3D”（产品OS：我应该怎么做，怎么做，在线等，急～）❌【音效、声音的描述】：产品目前仅支持生成视频画面，无法生成声音效果；如果您描述过多对声音的要求，可能会导致：视频生成效果质量不佳；

在互联网产品设计领域，设计师的工作主要涉及宣传视频、3D动画、页面动画、图标动画制作，且产出内容需具备具体需求场景下落地的要求。目前Move AI这样的产品让我看到了在游戏和产品设计工作中大幅降低3D动画制作成本的可能。未来设计师可能只需要拍摄特定动作并映射到制作好的3D模型中，快速制作动画方案。By Mark Peart目前，Figma、Protopie等产品支持的智能动画功能已经能够基于补间算法，在用户仅定义动画的开始和结束状态的情况下自动生成中间帧。未来不排除实现通过文字更加精确的控制动画的可能。