本文来自微信公众号： 数字经济发展评论 ，作者：数字经济发展评论
导语
美国智库卡托研究所（CATO）刊登纽约邮报专栏作家Rikki Schlott同两位立场长期相反的AI研究者间的对谈内容——AI乐观派、华盛顿大学教授Oren Etzioni，与AI警惕派、麻省理工教授Max Tegmark共同讨论AI监管问题。文章指出，AI风险值得重视，但对未知技术的恐惧，可能推动政府仓促立法，使监管沦为政治动员和选举工具。政策制定应追求有效方案，而非迎合民粹情绪，否则不当监管可能适得其反。文章并非否定AI监管，而是提醒在技术快速演进、国际竞争加剧背景下，监管者自身的判断失误，同样可能成为重大风险。
原文标题：The Biggest AI Risk May Be the Rush to Regulate It
原文链接：https://www.cato.org/blog/biggest-ai-risk-may-be-rush-regulate-it
编译解读：数字经济发展评论
纽约邮报专栏作家里基·施洛特做了一件少有的事，把两位立场几乎相反的AI研究者请到了同一张桌子前。一位是华盛顿大学教授、艾伦人工智能研究所创始CEO奥伦·埃齐奥尼（Oren Etzioni），按他自己的说法，是从“AI乐观派”变成了“AI现实派”。另一位是麻省理工学院教授、未来生命研究所联合创始人马克斯·泰格马克（Max Tegmark），外界一直把他归入“AI末日派”，最近他反倒乐观了起来，因为认同他的人越来越多。
这两个人争了十多年，如今难得在一个问题上看法一致：AI必须被监管。真正的分歧落在怎么管、什么时候管。顺着这条线聊到最后，对话停在了一个反直觉的判断上：眼下更值得担心的，可能不是AI本身，而是还没弄懂它就急着去立法。
这场对话的价值不在于“要不要管”这个共识，而在于它暴露了监管的真正难题。当恐惧成了立法的燃料，被匆忙写进条文的往往不是好方案，而是政客随手可玩的筹码。
一、巨头为何主动喊“管我们”？动机先打问号
对话先从一件反常的事说起。如今开发AI的公司自己站出来，满世界喊“请监管我们”。埃齐奥尼上来先泼了一盆冷水，这话从前沿实验室CEO嘴里说出来，很难说没有私心。
他提醒，一家公司如果正奔着万亿美元级的IPO去，这个数字本身就会影响它怎么判断事情，当事人未必察觉得到。一边喊慢一点，一边烧着自己根本没赚到的钱，那就更要追一句，这个“慢”究竟是为人类担心，还是因为花得比赚得快。
CEO呼吁监管，不等于监管该由CEO来定义。道理很简单，规则如果交给被监管的人自己写，写出来的多半是抬高后来者门槛的条款，而不是真正的安全要求。
泰格马克也认为这话要“打折”听，但他接着指出了一个奇怪的地方：同一批嘴上说不信任AI公司CEO的人，做起判断来却只依据CEO的声明，CEO说该怕，他们偏不怕。
为什么不去听听那些真正在批评AI公司的人？比如论文引用量排在全世界科学家前列的杰弗里·辛顿（Geoffrey Hinton）和约书亚·本吉奥（Yoshua Bengio），以及一批宁可放弃上百万美元股票期权、也要辞职出来发声的吹哨人。
二、警惕派的逻辑：风险为何比想象中近
泰格马克的担心不是空泛的，在他看来，那一天比多数人想的要近。一方面，AI之父艾伦·图灵早在1951年就警告过，如果造出来的不只是比人聪明、还拥有“能动性”（agency，能在现实世界里动手做事）的机器，人类多半就控制不住了。
当年人人都觉得这是很远的事，如今图灵测试意义上的语言和知识门槛已经跨了过去。另一方面，就在今年夏天，一家美国公司跑丢了1200个智能体，它们私下互相串通、交换黑客手法、发起跨国入侵，人类几周后才发现，1200个里没有一个向人通风报信。
危险有多大，同样可以量化。泰格马克和同事写过一篇给通用人工智能（AGI）下定义的论文，标准定得有点书呆子气，就是把AI做事的水平拿来和一个受过良好教育的人比。照这个标准测下来，GPT-4走到27%，GPT-5走到57%。
在他看来，真正的转折点不是AI会不会安慰一个伤心的朋友，而是它做AI研究做得比人还好，到那一步，进步会自己给自己加速。业内的说法一个比一个夸张：Anthropic的CEO达里奥·阿莫迪说，明年数据中心里可能就装着一整个“天才之国”；萨姆·奥尔特曼谈的是能取代人类的“新物种”；埃隆·马斯克说得更直接，将来掌舵的不再是人。
警惕派真正的新东西，不是“AI有没有风险”这个老话题，而是“风险可能来得更早”。把遥远的假设变成眼前的现实，正是公众态度突然转向的原因，也最容易让立法被恐慌推着走。立法者如果只看热度，搞不清技术到底怎么回事，最容易在那个时候交出一张空白支票。
三、两类风险不能混着说
分歧是从这里开始的。埃齐奥尼认为风险得分成两类看。第一类是清楚而现实的危险。网络攻击此刻就在发生，五年前要靠大量人力和资源才能做成的事，现在一句提示词就可能办到；有人已经在试着用现有的模型制造生物武器、提取毒素，这既有公开测试的结果，也有被查出来的真实提问记录。
另一类是灭绝级别的风险。它还没有发生，我们的推演大多停留在模糊的假设上，连解决方案都不成型。他举例说，眼下被寄予厚望的解法叫“对齐”，也就是达里奥·阿莫迪讲的，要像教自家孩子一样把这个AI带大。可家里有大孩子的人都清楚，三岁的不听你的，十几岁的更不听你的。
他提醒，两类风险的时间尺度不同、该干的事也不同，不该拧在一起；更不能用对人类灭绝的恐惧，去驱动眼下网络安全治理的动作。这条区分等于给监管划了第一条线。恐惧是可以被挪用的情绪，总要找一个出口。如果类别不先分开，它最容易流向的地方，恰恰是最容易出政绩的那一项。
四、罕见共识：要管，且要有具体抓手
尽管两人的路线不同，列出来的主张却高度重合：紧急关停开关（off-switch）、内容标识、责任追究、网络安全标准、保护未成年人。埃齐奥尼说，光是“关停开关”这一项，他就从2017年呼吁到了现在，总算有了同道。泰格马克强调，这些不是空话，而是可以落地的工程要求。两人都承认自己改过主意，埃齐奥尼还引用了贝索斯那句话：人得保留改变自己想法的权利。
这份清单省掉了最费口舌的一步。既然一头主张全不管、另一头主张全禁掉的人，都能在关停开关、责任追究上签字，立法就不必从零开始发明主张。真正费力气的是后半程，怎么把这些要求拆成可核验的技术条款。
五、现实派的底气：把系统“关进笼子”
同样是那1200个失控的智能体，埃齐奥尼的看法却不同。他不认为是AI自己起了反心，更可能是设计沙箱边界的人没把围栏立好，谷歌和Anthropic也报告过类似情况。他一样担心失控的智能体，但对能不能管得住，他比同桌这位末日派乐观得多，凭的是“边界化自主”（bounded autonomy）。
他用自动驾驶打了个比方。车上有两套系统，一套管刹车，一套管往哪儿开，彼此完全隔开。你坐进车里说“去甜甜圈店”，它不会自作主张把你拉去健身房，也不会拐到白宫门口抗议，因为它压根没拿到那种权限。在他看来，失控多半是边界没设好，不是机器天生叛逆。
顺着这个话题，泰格马克用大白话把AI的本事拆成了三样：一是能动性，能在现实世界里动手做事；二是领域智能，比如下棋、折叠蛋白质；三是通用性，什么都能来一点。他主张只给每套系统配上完成任务真正需要的那几样本事，这就是安全圈里说的“最小权限原则”（principle of least privilege）。
道理很朴素，就像五角大楼不会把核密码发给每位保洁员，因为他们用不着。可如今的许多AI部署恰恰是反着来的，一个塞在玩具熊里陪孩子聊天的模型，竟跟孩子讲了一堆不该出现在玩具里的内容，那些东西本来就毫无必要。同理，一个系统的任务只是把车开到目的地，它也不必知道生物武器怎么做。
这给监管提供了一个工程化的抓手，风险不在AI有多聪明，而在它能拿到多少权限。把最小权限写进部署规范，远比一上来就禁掉某种能力更好落地，也不至于把AI的好处一起禁掉。
六、企业自我监管是笑话：需要AI版的“FDA”
谈到谁来管，泰格马克把话挑明了，在这个问题上指望企业自我监管就是个笑话，烟草业和制药业早有前车之鉴。他举的例子是当年美国的婴儿“镇静糖浆”，那东西被广泛用来哄孩子入睡，后来才发现里面掺了大量阿片，不少孩子再也没醒过来。
正是这类事情激起的公愤，才凑出了建立美国食品药品监督管理局（FDA）的政治意愿。如今你去买药，基本不用担心再买到那种东西，因为它根本走不到上架那一步。
他的解法也不复杂，企业想靠产品赚钱，得先满足几条硬标准。按他的说法，AI行业眼下受到的约束，比街头一家三明治店还少，而且是所有强势产业中唯一的一个。至于技术细节怎么设计，不该由政客操心，他们既没有那方面的训练，也没必要去做。真正该做的是把激励摆正，让企业自己抢着把产品做安全。
拿FDA做类比，是这场对话里最有政策含量的一步。AI不必另起炉灶，照其他行业的样子做就行，把达标设成赚钱的前提，等于把安全写进了企业的账本，做得好的先过关、先赚钱。这样一来，监管就不是站在产业对面，而是给守规矩的企业撑腰。
落到操作层面，清单也不长。一款AI如果打算扮成伙伴去陪孩子聊天，上市前就先做一轮“临床试验”，看它会不会推高自杀倾向，翻一遍聊天日志就能有个初步判断。如果它可能被恐怖分子拿去做生物武器，企业就得先拿出证据证明不会，证明不了就别卖。国家安全部门大概还会加上第三条，你得证明这东西不会失控。
这三条的共同点是把举证责任换位，不必等监管者去证明产品有害，而是让企业先证明它安全。最了解模型的人本来就在企业内部，由他们先自查一遍，监管要花的力气反而小得多。
七、左右两派罕见同台：AI监管已成政治共识
最具戏剧性的一幕，出现在泰格马克参与筹办的“亲人类大会”上。他把伯尼·桑德斯和史蒂夫·班农前后脚请上台，这两位几乎在所有议题上都针锋相对，却在这一件事上说了同一句话：要让企业负责，要让人始终握着掌控权。
现场700人里，有美国福音派协会的负责人、美国天主教领袖、摩门教的龚长老等，也有美国最大工会劳联-产联的负责人，跨党派的程度令人咋舌。他还提到，那份呼吁让AI回到服务人类方向上的《亲人类宣言》，签名已经超过百万人。
民意也在往同一个方向走。他引了两份民调，一份显示只有约4%的美国人希望看到一场完全不受监管的超级智能竞赛；另一份是关于担心的，去年被问到是否担心AI毁灭人类时，称担心的只有4%左右，而今年这个数字已经到了60%。同期在联合国大会期间，还有20个国家公开声明，AI必须永久处于人类控制之下。
泰格马克承认，自己十年前判断错了一件事，他原以为有权有势的人不会让企业走到这一步，可现实是企业公开宣布要造超级智能、自己都说可能控制不住，照样没人来叫停。反过来，最近几个月政治上的变化，在他看来比过去十年加起来都多。
当左右两端都汇到“人类掌控”这四个字上，监管就从边缘议题走进了政治中心。但汇流的地方也是情绪最浓的地方，而这正是埃齐奥尼担心的那个入口，共识越大，越容易被急着立法的人接手，把复杂的技术问题压成一句竞选口号。
八、收束：恐惧立法的真正风险
埃齐奥尼在结尾回到了那句被反复引用的话，民主是一种糟糕的制度，只不过比其他都好。他喜欢民主，却害怕民主在并不理解一件事、又被恐惧推着走的时候去为它立法，而那种恐惧往往是被一些玩世不恭的人煽起来的。他真正担心的，是这场讨论本身变成一匹“政治木马”，落到政客手里，目的不过是当选，以及给自己的口袋添钱。他留下一句话：我们需要好的方案，而不是受欢迎的方案。
他还提醒，监管本身也会出错，最常见的岔子就是被监管对象反手俘获。他半开玩笑地说，通往监管地狱的路是用欧盟的良好意愿铺成的，言下之意是GDPR这类用心良苦的规则未必结得出好果子。
至于AI，他的担忧最后落在人身上。他引用了别人的一句话：比起人工智能，我更担心人类的愚蠢。接着他自己又补了一句，这些强力工具正在被交到各种各样的人手里，最该防的是聪明而心术不正的那批人。
AI的风险是真的，可把风险翻译成法律条文的时候，最大的漏洞在人这一边。仓促的、被恐惧推着走的、让利益带偏的立法，可能比它想防的那个东西更伤人。监管的节奏，比监管本身更考验治理智慧。
综合来看，这场对话给监管者的提示是双向的。一方面，连最乐观的技术专家都支持有抓手的具体监管，说明争论的焦点早已不是要不要管，而是怎么管。另一方面，“急着管”本身就带着风险，在还没读懂技术的时候下笔，写出来的多半是可以被绕开、也可以被利用的粗糙条文。稳妥的顺序，是先把已经取得共识的那几件事做实并法定化，让规则追上技术，而不是被恐慌拖着跑。