本文来自微信公众号： 科创板日报 ，作者：牛占林
本周OpenAI、Anthropic多名内部人士警告AI快速发展有风险，Anthropic研究员Evan Hubinger认为未来十年AI灭世概率超10%。
本周，围绕AI系统安全性的担忧，以及AI可能最终将人类“赶尽杀绝”的风险，再度在社交媒体上引发广泛关注。且Anthropic和OpenAI多名内部人士相继公开发声，警告了AI技术快速发展所带来的风险。对此，美国总统特朗普进行了驳斥，认为首要任务是保持AI的领先优势。
当被问及是否担心AI可能导致人类灭绝时，特朗普当地时间周四回答称：“不，我一点也不担心。”
特朗普指出：“我担心的是，AI发展不够快，使我们无法赢得这场竞赛，那么将陷入非常不利的境地。”
他还称，目前美国在AI领域领先其他对手相当长一段时间，并认为这一领先优势“大约是一年左右，而一年已经算是很长的时间了”。
特朗普发表上述言论之际，OpenAI、Anthropic等前沿AI实验室的多名研究人员近期纷纷发出警告，对AI技术发展过快的风险表示担忧。
担忧情绪升温
Anthropic研究员Jacob Coxon周二表示，他将离开公司，因为他担心Anthropic和竞争对手OpenAI正在拿人类的生命安全冒险。
他还表示，AI领域的开发者中有人认为，AI可能在本十年结束前毁灭全人类。此后，其他AI实验室员工也表达了类似担忧。
Anthropic负责AI对齐研究的负责人Evan Hubinger在社交平台X上发文称，他认为，未来十年内AI杀死全人类的可能性超过10%。
AI安全领域的许多担忧，都集中在AI模型是否会具备自我提升能力这一问题上。一种被称为“递归式自我改进”的技术，正是相关讨论的核心之一。
所谓递归式自我改进，是指AI系统本身参与改进开发新模型的过程。随着更先进的AI系统不断帮助构建更先进的下一代系统，这一过程可能形成能力不断升级的循环，最终导致AI能力呈螺旋式增长。
OpenAI首席科学家Jakub Pachocki指出，他预计AI技术进步的速度可能会持续下去，并最终进入递归式自我改进阶段。“我担心，没有人为机器智能持续快速增长可能带来的后果做好准备。”
与此同时，美国一些共和党议员也已加入民主党阵营，开始支持加强对先进AI系统的监管。
今年7月，共和党籍加州众议员Jay Obernolte和民主党籍马萨诸塞州众议员Lori Trahan宣布计划提出一项名为《前沿人工智能研究、部署、监管和安全法案》的法案，旨在建立一套针对先进AI模型部署的监管框架。
Trahan周三在社交平台X上发文称：“AI安全研究人员正在辞职，强大的AI模型正在突破实验室的控制，而企业却仍在竞相推进。国会早已不能再袖手旁观，现在是时候履行自己的职责了。”