ai的最终归属是哪里，消灭人类吗

在下围棋、打电子游戏，甚至操控机械臂、自动驾驶等问题中，人们采用强化学习技术去求解“最大化效用”或“最小化损失”（设损失为负效用、负快乐则定义等价），最后得到一个从输入到输出的函数。事实证明，只要这个函数足够高维、复杂，它便可以在很多复杂的任务上超越人类。总得来说，人类其实也只是一个从“输入”（五官-传入神经-想法与感受）到“输出”（想法与感受-传出神经-运动器官）的函数罢了。这个函数之所以显得那么精妙，无非是由于他在实践中不断谋求“人生总快乐最大化”，继而将这个函数优化得比较好，仅此而已。当你理解了这一点，你就知道AI终有一天会彻底战胜人类。我问：你说的就是《经济学原理》中的“理性人假设”吧？丁一点头：对。每个人都是为了谋求“效用最大”或“快乐最大”的“理性人”。我马上反驳：我认为人不一定都是“理性人”。比方说，有的人相比于利益更注重情感，有的人会做出一些道德高尚的行为……

我个人最认同Stephen Wolfram的观点：未来，AI将会从我们人类这里学习它们所能学到的，然后它们基本上将像自然界一样成为自我运行的计算系统——有时候“与我们互动”而已。他们会对我们“做些什么”呢？就像大自然会对我们“做些什么”一样；AI会消灭我们么？大自然也完全可以消灭我们。。以一种类似泛灵论的方式，我们可能会把意图归因于自然，但最终它只是“遵循其规则”并做它该做的事情。即使AI可以自我提升成掌控一切的“顶级智能”，但在这个计算不可约的宇宙里，不会存在一个“万事皆通”的计算系统。新兴的生物学领域有一个核心结论：无论你指定了什么“成就”，在计算宇宙的某个地方总会有一个计算系统超越它-计算等效原则（A New Kind of Science - Stephen Wolfram）。最后，如果AI真从我们这里学到了一切，那么它们也必然会继承我们“求胜的冲动”，也许会导致它们挑战人类。这将是AI宪法具意义的地方：定义一个超越AI的契约，让它们无法从人类的天性中习得这个能力，这样我们才能期待与AI共存，一起协同进化。Peace ☮️

这种压力会让人崩溃。披头士掀起了巨大的变革浪潮，但只持续了这么短的时间：在敲响那令人难忘的和弦六年后，他们甚至不再是一支乐队。OpenAI引发的漩涡几乎肯定会更大。但OpenAI的领导者们发誓，他们将坚持到底。他们说，他们要做的就是制造出足够智能、足够安全的计算机，终结历史，将人类带入一个难以想象的富饶时代。