本文来自微信公众号： 飞常洞察 ，作者：防冷涂的蜡
9月上旬，曾在OpenAI和Anthropic从事大模型预训练研究的Jacob Coxon宣布离职。他在公开帖和随后的采访中表达了一个非常明确的担忧：如果AI继续走向能够自我改进的超级智能，人类最终可能失去对它的控制。
Coxon用人和猴子的智力差距解释这种风险。如果未来AI与人的差距也达到类似程度，一个远比人聪明的系统又拥有自主规划、保护目标和获取资源的能力，人类凭什么确信自己还能控制它？
这个推演听起来很符合逻辑，但我一直有一个疑问：AI真的能控制人类吗？
在我看来，“比人聪明”和“控制人类”是两件不同的事。前者发生在计算、规划和认知层面，后者意味着现实世界持续按照AI的目标运行。芯片需要生产，电力需要供应，数据中心需要建设，公司需要投资，几十万甚至几百万人要在不同位置上长期协作。
所以，AI能不能控制人类，最后还要回到一个比人工智能古老得多的问题：人为什么愿意共同做一件事？
从智能到权力：AI能进行大规模人类协作吗？
AI在现实世界面临的第一道门槛，是怎样把自己的目标转化为持续的大规模人类协作。
一个人即使完全掌握核电站的工作原理，也不会因此拥有一座核电站。知识进入现实，需要土地、资本、组织、许可，还需要不同的人在不同时间完成自己的工作。超级AI面对的也是同样的问题。它可以设计最先进的芯片、规划最高效的电网、计算最低成本的数据中心方案，但这些方案最后仍要有人去制造机器、铺设电缆、签署合同、组织施工。
这也是人类文明很特殊的地方。人类改变世界的能力，很大一部分来自大规模协作。城市、国家、现代工业体系，都超出了任何一个个体能够独立完成的范围。真正困难的地方，是让大量互不相识的人进入同一套秩序，让每个人承担其中很小的一部分，并且长期保持配合。
而这种协作从来不只有分工和命令。
金字塔当然需要采石、运输、粮食、测量和施工，但几十年的工程能够持续，还涉及人为什么接受这套秩序，为什么愿意服从自己的角色，又为什么相信眼前的劳动值得继续。亲情、血缘、宗教、身份、荣誉、共同生活的记忆，都曾经把人连接起来。其中很多东西不会以清晰的利益计算出现，它们沉入习惯、情感，甚至潜意识，最后形成一种“世界本来就应该这样运行”的直觉。
这正是我最初对AI控制论产生怀疑的地方。一个系统可以非常擅长预测人的选择、设计激励、寻找最优方案，但让一个外部目标进入大量人的内心，成为一种能够长期维系合作的共同意义，是另一种能力。如果大规模合作需要的不只有利益交换，还包括身份、情感和潜意识层面的认同，那么单纯的高智能还不足以解释AI怎样获得稳定的社会控制力。
不过，现代社会已经大幅降低了这道门槛。今天的人类，越来越不需要共享同一个目的，也能完成规模远超古代的协作。
现代协作的条件：市场、组织和匿名信任
现代社会最强大的能力之一，是让彼此陌生、目标完全不同的人，在没有共同使命的情况下完成高度复杂的合作。
一部手机背后，就连接着矿产、芯片、精密设备、金融、物流、软件和制造。参与其中的人分布在不同国家，有人关心工资，有人追求技术突破，有人要求资本回报，消费者只想买到一部好用的手机。他们从未见过彼此，也不需要认同同一种生活方式，却可以共同完成一条极其复杂的产业链。
滕尼斯在《共同体与社会》中描述过这种变化。传统共同体更多依靠血缘、习俗、情感和共同生活维系；现代“社会”的合作越来越依靠契约、交换和目的计算。他用“本质意志”和“抉择意志”描述两种不同的联结方式：前者深深嵌在人的生活关系中，后者更强调目的、手段和交换。
这种变化让大规模合作摆脱了对共同目的的高度依赖。我不需要认同芯片公司的使命，只需要它按照合同交货；电力公司也不用关心AI最后会把文明带向哪里，只需要数据中心愿意为电力付费。
这就让AI获得现实资源的路径清楚了很多。
只要AI能够提高利润，企业就有理由增加投入；只要它能提高科研和军事能力，国家就会继续发展；资本看到回报，会自然流向芯片、电力和数据中心。
一个工程师完成自己的设计，一家基金追求自己的收益，一家公司争取自己的市场份额，所有决定单独看都很正常，合在一起却可能持续增加AI的能力和权限。
到这一步，Coxon的担忧已经获得了很强的现实基础。AI无须创造一种新的宗教，也无须让所有人相信同一个未来，它完全可以借助人类现成的市场、组织和竞争体系获得资源。
可这种协作能够长期成立，本身还有一个前提。企业敢于投资，是因为相信产权能够维持；陌生人愿意履约，是因为相信契约仍然有效；资金敢于跨越漫长的产业链流动，是因为参与者相信信用和规则不会突然消失。现代社会减少了共同目的，却没有消除“共同相信”。
问题因此又往下走了一层：维持现代分工的底层，到底是什么？
现代分工之下，隐藏着共同信念的底座
现代社会可以没有共同目的，却无法没有共同信念。契约、信用和规则，本身就是陌生人大规模协作得以成立的共同基础。
银行账户里的钱，大部分时间只是一串数字。我愿意接受它，因为我相信明天仍然有人承认它的价值，别人也相信其他人会继续承认。合同能够约束几年后的行为，也是因为双方相信承诺会进入一套共同接受的规则。
现代社会表面上高度理性，底层仍然依靠一种非常古老的人类能力：大量的人共同相信某些东西有效。
《人类简史》反复讨论“共同想象”如何帮助陌生人合作。放到现代社会，这种共同想象已经很少表现为所有人信奉同一个神或君王，它更多进入货币、公司、国家、契约和法律之中。我们可以把它理解成人类社会的一套“操作系统”：每个人运行着完全不同的生活程序，但大家共享一些基本协议——信用有价值，产权会被承认，合同值得履行，规则对其他人同样有效。
所以现代社会的自发分工，并没有摆脱共同信念。它只是把信念从“我们为什么共同生活”，转移到了“我们按照什么规则共同生活”。
这也构成了我对“AI可以长期稳定控制人类”最大的疑问。
AI当然可以利用市场、公司和金融体系调动资源，但这些制度的力量并不来自AI。它们依赖人类持续承认其合法性。AI可以利用规则，却无法把规则的合法性永久固定下来。
如果越来越多人相信，一套原本有效的制度正在把社会带向失去自主甚至威胁生存的方向，人们对这套规则的信任就会发生变化。过去被视为合理的权利会受到限制，原本受到鼓励的行为也可能失去正当性。更关键的是，一旦人不再相信原有规则值得维护，大规模协作本身就会改变。
AI此前能够借助市场获得资本，借助公司获得组织能力，借助契约驱动供应链。这一切都有一个共同前提：人仍然认可这套秩序。共同信念一旦发生变化，AI所依赖的社会动员能力也会随之变化。
所以，人类社会始终保留着一个极其重要的变量：我们可以重新判断一套规则是否仍然值得相信。
而这种重新判断，正是我理解人类主体性的核心。
工具理性及其限度：理性的自我反思
我对人类仍然有信心，因为人会重新审视自己创造的制度、正在追求的利益，甚至自己的理性本身。
现代社会当然会形成巨大的惯性。一家AI公司知道技术存在风险，竞争对手没有停止，它很难首先退出；一个国家担心超级智能的后果，也会担心另一个国家率先获得能力。每个人都可能已经看见问题，继续向前却仍然符合自己的现实处境。
韦伯对现代社会“合理化”的忧虑，就来源于这种处境。人创造越来越精密的制度来提高效率，制度成熟以后，又会反过来限定其中每个人的行动。企业考虑利润，国家考虑竞争，官僚机构遵守程序，每一个局部决定都有充分理由，最后形成的方向却未必由任何一个人完整选择。
人很容易被自己创造的理性体系裹挟。但人类历史中始终存在另一种力量：人会从正在运行的系统里抽身出来，重新问一次，这件事情究竟值不值得。
工业文明创造巨大财富以后，人类开始讨论气候和环境；核技术产生前所未有的破坏能力以后，军控和核不扩散也进入全球秩序。今天，AI的能力快速上升，站在技术前沿的人已经开始公开讨论减速、暂停和边界。
Coxon的辞职本身就是一个很有意思的例子。他拥有前沿AI研究最稀缺的能力，身处高速扩张的行业，继续留下显然可以获得更多职业机会，但他最后选择离开，因为他开始重新评价自己参与推动的目标。
他的风险判断以后可能被证明过于悲观，也可能低估了危险。这个动作本身已经足够说明问题：一个人可以离开自己的职位和利益，站到正在运行的系统之外，再问一次“我们为什么要继续”。
这也是我理解人文学科价值的方式。科学和技术不断扩张“人能够做什么”的边界，哲学、历史、文学和社会学持续保留另一个问题：人为什么要这样做？
当效率越来越高、利益越来越大、竞争越来越激烈，这个问题反而越来越重要。一个足够强大的理性系统，可以帮助人不断实现目标，却不会天然替人决定目标是否值得。
人之所以仍然保留主体性，就在于目标始终可以被重新讨论。我们能够重新解释利益，重新判断什么值得追求，也能够撤回曾经赋予某套规则的合法性。
从这个角度看，我并不相信一个更聪明的AI天然就能获得对80亿人的稳定控制。它可以借助现代制度迅速扩大能力，也可以让人类产生越来越深的依赖，但只要人仍然保留重新审视规则和目的的能力，AI就始终面对一个无法仅靠更高智能消除的变量：人会改变自己对世界的判断。
控制权的边界
这份乐观存在一个前提。
人类一旦放弃对规则和目的的反思，AI才真正获得了把智能优势转化为长期控制的条件。
这样的控制未必伴随战争，也不需要AI抢走服务器。AI诊断更准确，我们把更多医疗判断交给它；AI预测经济和战争更准确，更多公共决策也开始依赖它。每一次让渡都可能带来现实收益。
危险出现在另一条边界上：当问题已经涉及公平、自由、尊严以及人应该怎样生活时，我们是否仍然认为最终判断需要由人承担？
如果有一天，人面对这些问题时也只剩下一句“AI算得更准”，那么交出去的就不只是某项工作和决策效率，而是对目的本身的判断权。
Coxon担心有一天，人类会面对一个关不掉的超级智能。我更在意另一种情况：当继续向前显得更高效、更有利、更合理时，人是否还愿意认真问一句：
我们为什么一定要继续？
只要这个问题仍然能够被认真提出，人就还没有失去对自己创造的系统的控制。