Runway 的能力类型和核心功能包括以下方面：
上半年，Runway在Gen2模型上推出了较多细节控制能力，并且支持精细数值调节，是当下AI视频生成产品中可控性最强的产品。[heading4]多笔刷控制局部运动[content]支持最多5个笔刷控制，包括物体运动方向、运动曲线调节。调高Ambient，笔刷绘制区域物体的运动将和周边环境产生更多关联，并加大运动幅度。[heading4]相机控制[content]支持水平/垂直平移，水平/垂直翻转，镜头缩放/旋转。最终生成的效果对比：Gen3确实在清晰度上有较大提升，画面想象力更加丰富，无需复杂控制仅依靠提示词就可以得到非常好的结果。但Gen2确实更适用于对运动范围有精准控制诉求的场景。[Gen2 vs Gen3.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/AqVob3mTdoWYoCxINo7cLWWOnqe?allow_redirect=1)[heading4]Lip Sync Video[content]支持文本转TTS音频、音频文件换音，还有上半年大火的Lip sync video对口型能力。还可以在已经生成的视频下方选择Lip Sync将对口型和img2vid能力结合起来，得到嘴形和视频其他部分都在动的自然效果：[video lip sync.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/TzzJbuBWsoK0wSx6vekcFH0znmb?allow_redirect=1)不论是工具栏中不断丰富的音频、视频处理能力，还是Runway Watch栏目中的优秀合作案例，都能看出Runway一直坚定得在影视制作方向发展，未来若能打通AI生成和视频剪辑能力，Runway未来将对影视制作起到至关重要的作用，成为视频领域必不可少的重要工具。
1.核心功能：是一种先进的多模态模型，能够生成精确、真实感强的图像。其图像生成功能不仅美观，还具有实际用途，例如白板演示、科学实验图解等。2.亮点功能：精确的文本渲染：能够在图像中准确生成文字，例如街道标志、菜单、邀请函等。结合文本和图像，提升了视觉传达能力。多样化场景生成：支持从照片级真实感到漫画风格的多种图像生成。可根据用户上传的图像进行灵感转化或视觉改造。上下文感知：能够利用GPT-4o的内在知识库和对话上下文生成符合语境的内容。3.技术改进：通过联合训练在线图像和文本的分布，模型学会了图像与语言之间以及图像之间的关系。经过后期训练优化，模型在视觉流畅性和一致性方面表现出色。4.实际应用场景：信息传递：从标志性图像到复杂的科学图表，帮助用户更有效地传达信息。创意设计：生成创意菜单、街道标志和独特的视觉故事。教育与演示：支持生成教学图表、实验示意图等。5.局限性：尽管生成能力强，但仍可能存在某些场景或细节的限制。6.安全性与可用性：OpenAI强调了安全性和隐私保护。目前该功能已集成到ChatGPT中，用户可直接体验。
|技术名称|应用场景|技术类型|简介|主要特点|工作原理|其他|官方网站|项目及演示|论文|Github|在线体验|附件|最后更新时间||-|-|-|-|-|-|-|-|-|-|-|-|-|-||MM-Vid：一个集成的视频理解系统，能处理和理解长视频内容并进行问答。|可以想象到的应用场景：<br>1、快速的视频剪辑：只需要输入镜头脚本，提取素材库内容进行拼接。<br>2、快速的图生视频：结合图像识别为基础，根据镜头脚本提取出相同seed值的图片，通过runwayml思路生成3,5s视频，结合comfy ui自动化拼接。<br>3、快速诊断：思路和之前小互发的医疗诊断类似。|AI学习模型|由Microsoft Azure AI开发，结合了GPT-4V的能力和其他视觉、音频和语音处理工具，能处理和理解长视频和复杂任务。<br>能够自动识别和解释视频中的元素，如人物行为、情感表达、场景变化和对话内容，从而实现对视频故事线的理解。<br>其核心功能是将视频中的多模态信息（如视觉图像、音频信号和语言对话）转录成详细的文本脚本，这样大语言模型就能够理解视频内容。<br>这对于多种应用场景都非常有用，比如为视觉障碍人士提供视频内容的音频描述