AI模拟真人配音

声音和配乐是游戏体验的重要部分。已经有公司开始使用生成式人工智能生成音频，以补充图形方面的工作。音效声音效果是人工智能的另一个有吸引力的领域。已经有学术论文探讨了使用人工智能在电影中生成"foley"的想法（例如脚步声），不过目前能够直接在游戏中应用的商业产品还很少。笔者认为，这只是一个时间问题，因为游戏的互动性使其成为生成式人工智能的一个明显的应用，既可以创造静态的声音效果作为生产的一部分（"游戏里的激光枪音效等等"），也可以在运行时创造实时的互动声音效果。想象一下，如何给玩家角色生成脚步声（笔者注：例如CS和吃鸡里的脚步声..）？大多数传统游戏，会通过少量预先录制的脚步声来解决这个问题：例如，在草地上行走、在砾石上行走、在草地上跑步、在砾石上跑步等等。这些声音的发布和管理都很繁琐，而且运行的时候听起来重复且不真实。更好的方法是实时通过生成式AI的模拟音效，产生合适且更真实的的音效，通过游戏中的参数，如地面、角色、的重量、步态、鞋类等不同的介质，表现出不同的音效。音乐（游戏配乐）配乐对游戏来说很重要，因为它可以帮助故事主题设定感情基调，就像在电影或电视中一样。但由于游戏持续的时间更长，有的时候能持续数百甚至数千小时，不变的音乐可能很快变得重复或令玩家厌烦。此外，由于游戏具备互动性质，游戏配乐很难完全精确地配合屏幕上随机发生的场景和动作。

2024年内图片-超短视频的精细操控：表情、细致动作、视频-文字匹配有一定操控能力的生成式短视频：风格化、动漫风最先成熟；真人稍晚AI音频能力长足进展：带感情的AI配音基本成熟“全真AI颜值网红”出现，可以稳定输出视频，可以直播带货游戏AI NPC有里程碑式进展，出现新的游戏生产方式AI男/女朋友聊天基本成熟：记忆上有明显突破，可以较好模拟人的感情，产品加入视频音频，粘性提升并开始出圈实时生成的内容开始在社交媒体内容、广告中出现AI Agent有明确进展，办公场景“AI助手”开始有良好使用体验2AI的商业模式开始有明确用例：数据合成、工程平台、模型安全等可穿戴-全天候AI硬件层出不穷，虽然大多数不会成功中国AI达到或超过GPT4水平；美国出现GPT5；世界上开始现“主权AI”华为昇腾生态开始形成，国内推理芯片开始国产替代（训练替代要稍晚）AI造成的DeepFake、诈骗、网络攻击等开始进入公众视野，并引发担忧AI立法、伦理讨论仍然大规模落后于技术进展……2025-2027AI 3D技术、物理规则成熟：正常人无法区别AI生成还是实景拍摄全真AI虚拟人成熟：包含感情的AI NPC成熟，开放世界游戏成熟；游戏中几乎无法区别真人和NPCAR/VR技术大规模商用接近AGI的技术出现人与AI配合的工作方式成为常态，很多日常决策开始由AI来执行AI生产的数据量超过全人类生产数据量，“真实”成为稀缺资源具身智能、核聚变、芯片、超导、机器人等技术有明显进展突破“人的模型”出现，出现“集中化AGI”与“个人AGI”的历史分叉AI引发的社会问题开始加重，结构性失业开始出现AGI对于地缘政治的影响开始显露……"Limit of Understanding";Yifei Gong 2024,with Dall-E

?Xiaohu.AI日报「5月26日」✨✨✨✨✨✨✨✨1️⃣Flawless：利用AI创建与原版电影一样沉浸和真实的唇形同步配音版本，Flawless是一家生成式人工智能电影制作技术的公司。-他们的TrueSync工具能够创建与原版电影一样沉浸和真实的配音版本，确保配音在任何语言中的唇同步都完美无瑕。可以为电影和电视节目创建多语言版本，确保每个版本的对话都与演员的口型完美匹配，就像是在用他们的母语一样。?https://x.com/imxiaohu/status/17947089587474927532️⃣Suno宣布即将推出一项全新的功能可以从从任何声音创作歌曲。-这项新功能可以将日常生活中的各种声音转化为音乐，为音乐创作带来了新的可能性。你只需要敲击出节奏，Suno会自动捕捉然后与你“和弦”，哈哈...首个示例是：将敲击浇水壶的声音转化为迷幻摇滚音乐。?https://x.com/imxiaohu/status/17947136420611937113️⃣Responder无人机对接911报警系统可70秒抵达案发现场实时监控-具有情境感知系统，可以实时传送案发现场画面并提供实时监控和急救设备运送。?https://x.com/imxiaohu/status/17947281842458216124️⃣马斯克的xAI公司计划建造一台巨大的超级计算机，称为“超级计算工厂”。-这台超级计算机将使用10万个H100 GPU来训练和运行其AI模型Grok的下一个版本。