具身智能在制造车间的应用

让车在物理世界中自我行动，这是空间智能（Spatial Intelligence）的第一步。路透社报道，在计算机视觉上有过杰出成就的李飞飞教授，正在打造一家与“空间智能”有关的初创公司。她在2024年最新的TED演讲中解释了这个概念：“通过空间智能，AI将理解真实世界，它们能够处理视觉数据，做出预测并根据这些预测采取行动”。配图3.09：李飞飞TED演讲（With Spatial Intelligence，AI Will Understand the Real World）当我们人类看到一个桌上的水杯，大脑就会自动计算它在三维空间中的位置，以及它与桌子和周围一切事物的关系，还会预测接下来会发生什么。行动的冲动是所有空间智能生命形式所固有的，它将感知与行动联系起来。一个具有空间智能的AI，它也能自动做类似的预测与行动冲动。空间智能将推动AI系统获得具身智能（Embodied Intelligence），能够像生物一样与环境互动，FSD就是典型的例子，现在Tesla正通过其改进版本来驱动Optimus机器人，Elon Musk在Tesla最近一次财报电话会上说今年底就计划让Optimus能够在Gigafactroy代替人类干点活。

还有大模型认知能力不断提升，自动驾驶迎来革命性变化。这话音没落，特斯拉已经在自动驾驶上，至少暂时从电车的这个层次跳出来了。最近马斯克宣布要做自动出租车车队。我多给大家分享一句，现在的大模型可以在4个点给智能硬件增加不可思议的功能。第一个，用大语言模型增加耳朵、增加嘴巴，就能听懂你说什么，能够跟你用语言做交流，这是第一个突破。第二个是增加大视觉模型，也就是说以后所有的硬件都会带摄像头，其实你们家的扫地机器人已经快具备这些能力了，都带有麦克风，带有扬声器，都带有摄像头接上大视觉模型多模态能力，那么它就可以看懂发生什么，看懂自己处在一个什么环境。第三个,大模型加上Agent架构，使你的智能硬件真正有了一个能够做推理、分析、分解任务的大脑。第四个，是具身智能，但具身智能我们研究的不多，是指这些硬件能不能动起来。前三个改变对现在的很多硬件的体验来说，已经差异于过去十倍的体验了。这次小米也率人演示了小米AI大模型，把小爱同学做了升级。有了大模型之后，这个车就真的像有了灵魂一样，它能理解你说的每一句话。

还有大模型认知能力不断提升，自动驾驶迎来革命性变化。这话音没落，特斯拉已经在自动驾驶上，至少暂时从电车的这个层次跳出来了。最近马斯克宣布要做自动出租车车队。我多给大家分享一句，现在的大模型可以在4个点给智能硬件增加不可思议的功能。第一个，用大语言模型增加耳朵、增加嘴巴，就能听懂你说什么，能够跟你用语言做交流，这是第一个突破。第二个是增加大视觉模型，也就是说以后所有的硬件都会带摄像头，其实你们家的扫地机器人已经快具备这些能力了，都带有麦克风，带有扬声器，都带有摄像头接上大视觉模型多模态能力，那么它就可以看懂发生什么，看懂自己处在一个什么环境。第三个,大模型加上Agent架构，使你的智能硬件真正有了一个能够做推理、分析、分解任务的大脑。第四个，是具身智能，但具身智能我们研究的不多，是指这些硬件能不能动起来。前三个改变对现在的很多硬件的体验来说，已经差异于过去十倍的体验了。这次小米也率人演示了小米AI大模型，把小爱同学做了升级。有了大模型之后，这个车就真的像有了灵魂一样，它能理解你说的每一句话。