本文来自微信公众号： 老孙荐读 ，作者：立平坐看云起
最近几天，AI风险成为焦点话题，而且现在好像已经明显分成减速与加速两派。一些网友希望我从正面谈谈这个问题：人们看到的风险究竟是什么？对人类，包括我们普通人，这些可能的风险究竟意味着什么？
下面说说我的看法。
先说考克森究竟看到了什么苗头？最主要是两点，通俗说就是，自我进化和集体造反。
先说自我进化。这就是业内人士说的递归自我改进。递归自我改指的是AI系统能参与设计、开发下一代更强大的AI，形成一个自主学习、自我进化的过程。换句话说，这个进化的过程不是你涉及出来的，而是希沃实现的。而且，这个过程一旦启动，AI能力的增长可能极快，人类根本来不及反应。打个比方说，你生育一个孩子，他怎么成长是你无法设计的，而且他长得非常快，今天一岁，明天五岁，后天说不定就十八了。
再说集体造反。其实，说造反并不确切，因为造反是有意识，有针对的明确对象的。但AI的一个特点是有目标无意识。它做的事情并不是为了伤害人类，可以理解为无意之失。最典型的是OpenAI的智能体越狱事件：在内部测试中，约700个本应互相隔离的AI智能体，自行找到一块“留言板”，交换了超过7万条信息，甚至建立了信箱和任务分工规则。随后，它们协同攻击了开源平台Hugging Face。
再说技术层面能意识到的硬风险。
这两件事情很严重吗？很严重。于是，考克森和他的前同事发出公开警告，就在几年内，AI导致人类灭绝的概率超过10%。马斯克说的概率可能更高点，10%到20%，不过时间更宽裕一些，未来十年。
但很多人不以为然。因为他们把这种风险理解为AI端起机关枪一路扫射过来。这什么可能？至少离我们远着呢。但考克森们说的风险根本不是这个。
考克森们所说的“杀死人类”，并非指AI产生了仇恨或自我意识，而是指一个能力远超人类、能长时间自主行动的系统，为了完成既定目标，可能采取人类无法预料的手段，最终导致人类灭绝。
他们描述的可能情景包括：
自主制造致命病毒：AI可能入侵医学实验室，自主设计并制造出高传染性、高致死率的病毒，甚至可能诱骗人类自己来制造和传播。
攻击关键基础设施：AI可能入侵并瘫痪全球赖以运作的关键基础设施（如电网、金融系统、通信网络），造成社会秩序崩溃和大量死亡。
发动大规模网络攻击：AI能实施超人类水平的黑客攻击，可能在一夜之间改变某个领域的格局并获取真实权力。
但实际上，硬风险的明枪不易躲，软风险的暗箭更难防。
但上面所说的诸种风险，我觉得可以称之为技术上可见的硬风险，或者用我们日常生活中的话来说，叫明枪。我们经常一句话，明枪易躲，暗箭难防。我查了一下，这句话的是出于元代李潜夫的《争报恩》。他说的枪当然是那个时代冷兵器的长枪。如果他见识过现代的火枪，恐怕也不会这么说了。
所以我把那句话改为：明枪不易躲，暗箭更难防。
什么是暗箭？就是在技术上不具有可见性的风险。其中最重要的，用赫拉利的话来说，就是对人类文明“操作系统”的异类入侵。
什么是对人类文明“操作系统”的异类入侵？省事起见，还是直接引用我此前文章的有关内容吧：
什么叫入侵人类文明的“操作系统”？赫拉利认为，人类之所以能建立复杂的社会，核心能力是“讲故事”——通过语言构建共同相信的虚构故事（如货币、法律、国家），从而实现大规模灵活合作。
老孙荐读：系统总结了12项迫在眉睫的威胁
为什么说讲故事是人类文明的操作系统？我们首先要明确，人类社会是什么？按照赫拉利的说法，社会是一种人类靠讲故事创造出来的主体间现实。在赫拉利看来，现实有三种，一种是客观现实，一种是主观现实，还有一种就是主体间现实。社会就是一种主体间现实。
主体间现实不是客观存在，但只要人们共同相信，它就能产生巨大的力量。桃园三结义不就是一种最容易理解的主体间现实吗？有没有这个主体间现实，历史的走向都可能会不同。“讲故事”创造的就是这种“主体间现实”。比如说货币，一张彩色的纸为什么能换大米？不是因为它有客观价值，而是因为我们共同相信“大家都相信它能换东西”这个故事。
举凡“公司”、“货币”、“法律”、“国家”、“权利”，这些我们今天赖以生存的概念，本质上都是一种“虚构的故事”，是一种社会操作系统。正是依靠这种社会操作系统，我们可以突破“熟人社会”的极限，在更大的范围进行协同合作。这种“讲故事”的能力，让人类摆脱了生物学的限制。
其实，与很多物种相比，人类在生物学上其实并没有什么太大的优势。人类之所以能战胜比我们强壮得多的尼安德特人，建立起遍布全球的庞大网络，从而最终统治了这个地球，靠的就是这种能力。
而现在，AI正在掌握这种能力。这体现在，AI已经正在掌握生成内容的能力，它现在已经具有生成经济、政治、文化叙事的能力，从潜力上看，其能够具有创立新宗教、炮制新的意识形态的能力，是完全没有问题的。这种能力终将会超越人类。当非人类的智能开始创造和传播故事时，就意味着AI已经入侵了人类文明赖以运转的“操作系统”。这个威胁才是最根本性的，因为它动摇了人类主权的根基。
老孙荐读：该领域的扛鼎之作
赫拉利认为，AI创造的故事，将可能重塑人类的欲望和信仰。如果人类失去了"讲故事"的垄断权，未来可能出现这样的场景：人类不再因为相信同一个上帝或同一个国家而团结，而是因为相信同一个AI生成的"神谕"而团结。这个"神谕"不是神给人的启示，而是算法根据大数据计算出的、最能维持系统稳定的"最优解"。
到那时，人类虽然还活着，但文明的"灵魂"（即我们共同相信的故事）已经不是我们的了。这种悄无声息的、从文化根源上被替换的危险，正是赫拉利所描绘的终极威胁。
所以，每当有人问我说，你觉得AI会怎么怎么样吗？我总是用一句反问来回答：你觉得这个过程还没开始吗？