教皇发布AI伦理通谕呼吁保障人类尊严与正义,诺奖得主帕里西接受采访指出,人类尚未针对AI最隐蔽风险采取措施,需为AI建规则治理体系。 ## 1. 教皇发布天主教会首份AI系统伦理通谕 2026年5月25日,天主教罗马教皇利奥十四世发布天主教会历史上首部系统回应AI时代伦理挑战的通谕《伟大的人性》,全文4万余字,同时纪念利奥十三世《新事物》通谕发表135周年。该通谕回应AI带来的社会问题,呼吁在AI发展中维护人类最终责任,防止技术权力集中、算法操纵舆论及贫富差距扩大,倡导建立全球治理体系以保障人类尊严与社会正义。 ## 2. 技术本非中立,AI黑箱不必然不可理解 技术从来不是中立的,设计者的价值取向早已内嵌其中,AI训练样本包含人类的选择、疏忽与偏见,机器会放大这些偏见,主张技术“绝对中立”本身就是幻觉。当前深度神经网络缺乏可预测行为的可控理论,确实带有黑箱特征,但不透明不代表永远无法理解,物理学已提供部分有用工具,未来或诞生通过观察实验研究AI行为的新职业。 ## 3. 必须坚持人类最终决策权,警惕隐蔽的政治决策技术化风险 坚持人类掌握AI相关事务最终决定权不仅是是否现实的问题,更是需要人类主动选择捍卫的原则,AI只能作为工具,不能成为权威,只有人类拥有意识和价值判断能力,机器只能基于过往样本预测可能性,无法承担道德责任。将道德政治判断委托给AI的危险已经存在且相当严重,**最隐蔽的风险不是明面上的委托,而是将实际的政治决策伪装成“技术性”决定的无声授权,选择攻击目标这类道德判断绝不能交给算法**。 ## 4. AI将快速改变劳动关系,控制AI入口者将掌握巨大权力 相较于工业革命时期用一代人时间完成的技术变革,AI带来的劳动变革仅需几年,留给人们重新适应的时间很少。如果AI成为人类进入数字世界的通用门户,控制这个过滤器的主体将拥有巨大权力,社会需要合理分配AI带来的生产力收益,缩减全员工作时间是可行的应对方向。 ## 5. AI并非无法治理,核心问题是人类未及时制定规则 AI作为全球性现象具备复杂系统特征,但复杂不等于无法治理,就像城市交通可通过规则管控,AI也可通过合适的工具和深思熟虑的规则实现治理。当前最值得担心的不是AI本身的复杂性,而是人类任由AI发展壮大,却没有及时为它制定配套规则。 ## 6. 公共AI研究需补足,应建立类似CERN的共享公共研究机构 当前前沿AI研究大多掌握在少数私营大公司手中,这些公司自然倾向于对进展保密,而科学依赖知识共享发展。建立不受商业机密限制的公共AI研究中心,可产出共享知识,帮助新参与者进入该领域,帕里西坚定支持欧洲创建类似AI领域欧洲核子研究中心(CERN)的公共AI机构,该机构将作为私营研究、各国自有研究的补充,保持知识的公共属性。 ## 7. AI治理需要多学科与多元机构参与 AI带来的核心问题不只是技术性问题,推理、意识、责任等本质问题都需要哲学家、人文学者参与讨论,工程师无法独自应对。不同专业背景能力协作更容易产出优秀成果,关乎人类整体发展的AI技术不能只交给技术开发者,需要人文学者、道德机构贡献视角。 ## 8. 当前AI缺乏有效的全球治理体系,亟需推动建立国际规则 目前不存在适配AI的合适国际治理体系,本应承担相关职能的国际机构近年被边缘化削弱,是错误的政治选择导致的结果。AI的影响不受国境限制,需要共同的国际规则,理想情况下需要国际条约划定不可逾越的界限,并设立独立机构监督执行,未来数年需要重建覆盖AI乃至气候、和平等全领域的有效国际治理体系。
教皇也开始忧心AI,诺奖得主回应:人类尚未对AI引发的最隐蔽风险采取措施
2026-06-30 08:15

教皇也开始忧心AI,诺奖得主回应:人类尚未对AI引发的最隐蔽风险采取措施

本文来自微信公众号: 返朴 ,作者:乔治·帕里西


2026年5月25日,天主教罗马教皇利奥十四世就人工智能(AI)开发和使用发布了通谕《伟大的人性》(Magnifica Humanitas)。这是天主教会历史上首部系统回应人工智能时代伦理挑战的文件,全文4万余字,同时纪念利奥十三世《新事物》(Rerum Novarum)通谕发表135周年。《新事物》是天主教会首次系统阐述社会与经济问题的通谕,回应当时工业革命所带来的劳动危机;而《伟大的人性》则是回应AI时代所带来的社会问题,呼吁在AI发展中维护人的最终责任,防止技术权力集中、算法操纵舆论及贫富差距扩大,并倡导建立全球治理体系,以保障人类尊严与社会正义。


当天意大利《晚邮报》(Corriere Della Sera)及其官方网站发布了对乔治·帕里西(Giorgio Parisi,2021年由于“复杂系统理论的开创性贡献”而获得诺贝尔物理学奖)的采访。该报记者就各界所关心的AI的现状和未来等方面的热点问题请教帕里西,他并未研读通谕,而是直接回答了记者的提问,系统地陈述了他的看法。下面是采访全文,由乔治·帕里西教授本人提供并授权《返朴》翻译发表,有些报纸和网站刊发的为编辑删减版。


乔治·帕里西:我首先要说明,我还没有时间仔细研读这篇长达一百多页的通谕,因此我将直接回答你提出的问题。我同意,并且五十年来我一直坚信:技术从来不是中立的。每一项技术都承载着一种隐含的哲学理念,设计者的价值取向早已内嵌其中。在人工智能领域,这一点尤为明显:一个系统从我们提供的示例中学习,而这些示例从来不是对世界完全客观的样本。它们包含了我们的选择、我们的疏忽、我们的偏见,而机器随后会将其输出,并且常常加以放大。我还要补充一点,这关系到我们科学家自身:对“绝对中立”的主张本身也是一种幻觉,固执地捍卫这种中立,最终只会削弱那些高举它的人的可信度。承认技术蕴含着价值观,并不是一种指责。这是我们有意识地决定技术应该蕴含哪些价值观的第一步。


记者:复杂系统会发展出难以预测的涌现特性。这是否意味着最先进的人工智能也不可避免地成为“黑箱”?


乔治·帕里西:某种程度上是这样,但我会谨慎使用“不可避免”(inevitabilmentein)这个词。诚然,深度神经网络能够工作,但矛盾的是,我们还没有一种理论能够以可控的方式预测它们的行为:我们无法准确说出其中间层内部发生了什么。在这方面,它们确实很像我一辈子研究的复杂系统。然而,不透明并不意味着永远无法理解。我们是可以做一些事情的,不过其中难度究竟有多大——这正是我们尚不清楚的地方。物理学已经开始提供一些有用的理论工具。而且,我想象到一个有趣的场景,有一天构建这些系统的人会有点像心理学家:他们需要通过观察和实验来研究其行为,而不是从方程式中推导出来。那将是一个崭新而迷人的职业。


记者:根据教皇的说法,最终决定权应该始终保留在人类手中。你觉得这仍然现实吗?


乔治·帕里西:在许多领域,这无疑是现实的,并且应该得到捍卫。机器可以处理、建议、预警,但最终决定权应该留给能够为之负责的人。原因很简单:只有人类拥有对世界的意识,并且能够做出价值判断。一台机器不知道什么是正确的,它没有同情心,它所知道的,只是基于过往所见示例给出什么可能发生。我不否认,在某些情况下,让人类始终处于中心位置会很困难,因为系统变得很快,将决策委托给机器的诱惑很大。但在这里,我想反问这个问题:这不仅是一个是否现实的问题,更是一个如何使其变得现实的问题。这取决于我们的选择,而不是像天气预报那样等着事情发生。人工智能必须始终是一种工具,而不是成为一种权威。


记者:你是否看到了这样一种风险:人类不仅将技术操作交给机器,也把道德或政治判断委托给机器?


乔治·帕里西:危险是存在的,而且相当严重。坦率地说,这个风险有多大今天很难评估,因为很大程度上取决于我们未来几年的行为。我可以明确说的是,将道德或政治判断委托给机器将是绝对负面的。让一个系统来整理数据或翻译文本是一回事,而让它决定谁值得获得贷款、谁应该被录用,或者在自主武器的极端情况下,谁应该成为攻击目标,则是另一回事。选择攻击谁,绝不能交给算法(编者注:通谕中特别提到了不能让AI承担)。道德判断需要设身处地为他人着想并承担责任,而机器无法做到这一点,因为它不是,也不应该成为一个道德主体。最隐蔽的风险不是明面上的委托行为,而是无声的授权——继续将实际上已经成为政治决策的事情称为“技术性”决定。


记者:通谕强调了人类劳动的尊严。人工智能在多大程度上可能改变劳动与权力之间的关系?


乔治·帕里西:风险是显著的,需要正视它,既不危言耸听,也不盲目天真。从工业革命开始,每一项新技术都减少了所需的劳动量。与人工智能的不同之处在于速度:过去需要一代人才能完成的变革,如今在几年内就发生了,这给人们留下重新适应的时间很少。此外,还有一点让我特别在意。人工智能有可能成为我们进入数字世界的门户:如果我们在获取信息、学习和工作时都经过同一个过滤器,那么控制这个过滤器的人就拥有了巨大的权力。这正是劳动与权力交织之处。我不认为是技术本身的错,这取决于一个社会如何决定分配生产力提升带来的收益。例如,减少工作时间是一条古老而合理的道路:减少工作,以便人人都有工作。


记者:人工智能是否正在成为一个难以治理的全球性新“复杂系统”?


乔治·帕里西:不一定。“复杂系统”这个词常常被当作“无法治理”的同义词,但事实并非如此。城市的交通就是一个很好的例子:它可能变得混乱,但绝非无法治理。通过交通信号灯、单行道、错峰出行等,可以引导交通——交通规则至关重要。交通是复杂的,但并非不可控。人工智能作为一个全球性现象,确实具有复杂系统的一些特征:大量的行为主体相互作用,产生的集体行为并非由单一行为主体设计出来,有时还会产生反直觉的结果。但是“难以治理”并不等于“无法治理”。这意味着需要合适的工具和经过深思熟虑的规则。让我担心的不是复杂性本身,而是我们正在让这个系统发展壮大,却没有及时为其制定规则。


记者:为了避免技术权力的过度集中,保持强大的公共人工智能研究有多重要?


乔治·帕里西:非常重要,而且意义超出了经济竞争。如今,大部分前沿人工智能研究掌握在少数几家大型私营公司手中,它们完全有权自己研发,但它们自然会倾向于将取得的进展保密。然而,科学是通过知识共享而发展的。因此,我认为需要建立一些公共研究中心,让研究人员可以在那里交流合作,不受商业机密的限制,从而产生共享的知识,使新的参与者、新的初创公司能够进入这个领域。在欧洲,已经有人提议创建一个公共的人工智能机构,类似于AI领域的欧洲核子研究中心(CERN),至少在初期,它可以规模小一些。我一直坚定地支持这一提议,并就此签署了一份宣言。这不是要取代私营研究或各国的自有研究,而是建立一个与它们互补的地方,让知识保持为公共财富。欧洲虽然落后了,但它有能力做到。


记者:关于人工智能的辩论,除了工程师和科学家之外,是否也需要哲学家、人文学者和道德机构?


乔治·帕里西:绝对需要,而且不是出于对其他学科的礼貌。人工智能给我们带来的真正困难的问题不仅仅是技术性的。我们所说的推理、意识、责任是什么意思?这些都是哲学家和人文学者思考了几个世纪的问题,工程师无法独自面对。此外,有趣的是,该领域的一些领军人物背景非常多样,比如有人在从事神经网络研究之前学过心理学或哲学。最好的成果往往诞生于不同专业能力并肩解决共同问题的时候。一项关乎我们如何思考、工作和决策的技术,不能只留给构建它的专家。它需要那些关心事物意义的人的视角,也需要那些守护我们共同价值观的机构。


记者:教皇强调集体责任。对于如此强大的技术,当今是否存在适当的国际治理体系?


乔治·帕里西:不幸的是,没有。本应确保国际治理的机构,从联合国到世界卫生组织,近年来被边缘化、被削弱,恰恰是在问题变得日益全球化的时候。这不是一个令人痛苦的悖论,而是愚蠢的政治选择。人工智能不会止步于国境线:在一个国家训练的系统会在世界各地被使用,其影响,无论好坏,都会波及所有人。对于如此重要的技术,我们需要共同的规则,理想情况下,还需要一项国际条约来设定一些不可逾越的界限,并需要一个独立的机构来确保其得到遵守。今天,这一切还不存在。我认为未来几年的任务是重建名副其实的国际治理体系,不仅针对人工智能,从气候到和平的所有领域都应如此。这是一项艰巨的工作,很多人会逆流而动,但我们没有合理的替代方案。


致谢:乔治·帕里西提供了采访的全文,并同意翻译成中文发表。特此致谢。

AI原生产品日报频道: 前沿科技
本内容来源于网络 原文链接,观点仅代表作者本人,不代表虎嗅立场。
如涉及版权问题请联系 hezuo@huxiu.com,我们将及时核实并处理。
正在改变与想要改变世界的人,都在 虎嗅APP
赞赏
关闭赞赏 开启赞赏

支持一下   修改

确定