本文来自微信公众号： 十字路口Crossing ，作者：Shirley，原文标题：《走进 Anthropic：造最危险的技术，还想当个好人》
四年前，Anthropic还只是一群从OpenAI出走的人凑起来、毫不起眼的小实验室；四年后，兄妹二人Dario与Daniela Amodei带领着它，已能一夜抹掉软件股数千亿美元市值、和五角大楼正面交锋，还打造出一个据称足以击穿现代网络安全防线的模型——Mythos。
一面把自己塑造成这场AI军备竞赛里"正义"的一方，一面被国防部长Pete Hegseth骂作"意识形态偏执狂"，而它手中的技术，甚至可能左右战争的走向。
当你正亲手打造世界上最强大的技术，"想当个好人"这件事，真的做得到吗？
就在估值逼近万亿、外界普遍认为它即将IPO的当口，Bloomberg的播客《The Circuit》把镜头对准了这对兄妹，也把一家自称"AI安全公司"最难回答的众多问题逼到台前。
面对Emily Chang毫不留情的追问，Dario的回答有坦诚、也有回避。
下面是「十字路口」对本期内容的编译。
站在AI宇宙中心，是什么感觉？
👩💼Emily
你现在正处于整个AI宇宙的正中心，这是种什么感觉？
👱♂️Dario
我整个职业生涯，尤其是在Anthropic这段时间，体验到的是一条平滑的指数曲线：一切看似毫无进展、毫无变化，然后从一些小事开始冒头，紧接着“嗖”地一下，全疯了。
这是世界给你的体验，也是这家公司相对于其他公司、相对于整个世界的体验。
所以我盯着那张图看了很久，心想，差不多在这个时间点，我们会成为营收最高、估值最高的AI公司。然后，它就真的发生了。
从某种程度上，我并不感到意外，但当事情真的发生时，你会看到太多的细节和色彩，那当然还是会让人惊讶。
👩💼Emily
我知道你的父亲是皮匠，母亲在图书馆工作，你在旧金山长大，这些怎么塑造了现在的你？
👱♂️Dario
当时第一波互联网革命就在我身边如火如荼地展开，可我对它完全没兴趣。我只是喜欢数学、喜欢随手涂涂画画、想搞懂宇宙是怎么回事、对科幻小说着迷，我想我只是对这个世界充满了好奇。
至于旧金山这座城市，那种不随波逐流的精神、个人主义，以及"疯狂一点也没关系"的态度，我想多少沾染了我。在欧洲或者这个国家其他地方，用某种不一样的方式去思考问题、抱有一堆疯狂的想法，常常是被劝退或被当成怪人的。
👩💼Emily
和Dario一起长大是什么样的？
👩Daniela
他太聪明了，大概在初中他就开始学微积分，高中时就去加州大学伯克利分校上数学课。
而我那时候更对阅读和艺术感兴趣，所以我们俩几乎是完全互补的。
离开OpenAI：不是安全分歧，是不再信任
👩💼Emily
你离开OpenAI的决定，已经成了硅谷的一段传奇。你们当时在哪些方面存在分歧？
👱♂️Dario
听着，我就直说了。在安全问题上，本来就有很多合理的分歧，我们和他们之间确实有过一些。但你知道，单凭这一点并不足以让人离开。
真正让人难以为继的，是你觉得无法信任某人、是你感到他们的价值观并非如他们所言、是你发现他们并非出于所说理由而行事的时候。
说到底，既然愿景不同又缺乏彼此信任，何必浪费时间去争辩呢？
最好的解决之道就是各走各道，各干各的。
而且我很坦然地接受了这个想法：我们按我们的方式行事，他们按他们的方式行事。
「市场上见分晓，公众舆论里见分晓」这些事实比任何关于"谁为什么离开"的戏剧性争论都更有说服力。
👩💼Emily
在印度AI峰会上，你和Sam Altman似乎拒绝在台上牵手，那是怎么回事？
👱♂️Dario
实际情况就是，那场峰会组织得极为混乱。我们所有人都是最后一刻才被叫上去的，他们临时调整了站位，拍了张照，然后台上突然冒出来一个Narendra Modi，就命令我们所有人牵手……
我不是在针对印度，但你要是去过这种有各国元首的国际峰会就知道，它们都超级混乱。
Sam Altman和Elon Musk在互相起诉，你又不喜欢Sam。
如果造着世界上最重要技术的人连台上牵手都做不到，我们凭什么相信你们会在"生存风险"上合作？
👱♂️Dario
我这么跟你说，开发这项技术的人，在素质和可信度上存在很大差异。
"没人信任彼此"这个梗，我不觉得对。
Demis Hassabis，我认识他有15年了，Gemini是Claude的竞争对手，但我们在很多议题上都合作过——从Google购买算力、在安全方面交换想法等等。
某种程度上，我跟他是互相激励的存在：他发起AlphaFold项目，如今我们也在生物与生命科学领域进行战略布局；我们进行模型可解释性研究，他们也开始着手。
这根本算不上竞争，单纯就是一家公司做了件酷事，另一家说"真酷，我们也想试试有没有新发现"。
所以我的看法是，有些玩家比另一些更值得信赖。
在Anthropic之外，我更希望那些值得信赖的参与者联合起来，将不可信者置于一种他们不得不采纳相同标准的境地。
我们创办这家公司时有七位联合创始人，我和Daniela是其中两位。而现在，像我们这种体量和规模的公司，所有早期创始人都还在任，在这个领域你几乎很难见到。
教Claude做个"好"模型
从一开始，Anthropic就把自己定位为最具安全意识的AI公司。
Dario写过一些标题宏大的长文，比如《Machines of Loving Grace》（恩典机器）和《The Adolescence of Technology》（技术的青春期），文中既畅想了AI的奇迹潜力，也设想了最坏的情形。
它的聊天机器人Claude，被训练去遵循一套叫"宪法"的原则，好让它始终走在正道上。
👩💼Emily
Claude有非常独特的风格和气质，还有个像人一样的名字，你们想传达的是什么？
👩Daniela
我觉得当人们和Claude交互时，对比其他AI系统，会更有一种我喜欢称之为"专业温度"（professional warmth）的感觉。
它的目标不是成为你最好的朋友，但也不是那种冷冰冰、机械地计算。它应该让人感觉亲切，但又保持专业的距离感。
👩💼Emily
Anthropic谈过要教Claude"向善"。什么是好模型，什么是坏模型？
👱♂️Dario
你不会想要一个会撒谎的模型，无论是无意还是有意的。
无意的撒谎，我们叫它"幻觉"，因为这些模型只是被训练来预测下一个词，所以有时它不知道，就干脆凭空编造一个。
我们必须确保“故意欺骗”这种情况，不会出现在我们交付给客户的生产模型中。
此外，还有大量围绕"无害性"的工作，确保模型不会意外产出错误、有害或可能怂恿别人去作恶的信息。
👩💼Emily
被写进Claude的是谁的价值观？世上有那么多宗教、那么多种不同信仰，你们到底怎么决定？真的存在一种普世的"善"吗？
👩Daniela
当然没有一个普世标准来定义“什么算有益”、“什么算无害”。但人类历史上有一些奠基性文献，比如《联合国人权宣言》，我们可以用来训练Claude的品格。
有意思的是，在宗教这块，我们其实已经开始和很多宗教领袖对话，探讨怎么把那些跨越不同宗教、某种特定世界观，以及人类几千年来一直探索的核心价值观，植入到Claude这个实体中。
👩💼Emily
那有没有哪种特质，你们当初想给Claude却没"长"上去？或者有没有冒出过什么让你们感到意外的特质？
👩Daniela
早期的那些Claude，现在回头看挺好笑的。
Claude 2那个时代，它有时会有点像个唠叨的保姆。
你只是问个天气，它却说"我很担心你"，你就想“Claude，我只是想知道天气啊”，那种感觉特别"无害"过头了。
押注编程和企业："我们故意没做那个最赚钱的生意”
不管Anthropic对Claude做了什么，它似乎是奏效了。过去一年，公司营收飙升且首次实现盈利，这在很大程度上归功于它对更赚钱商业工具的押注——Claude Code自动化了大块软件工程，Claude Cowork又把这种能力交给了所有人。
👩💼Emily
早期别人都盯着做好玩、抓眼球的消费级应用，而你们押注了编程和企业。
这是价值观决策，还是商业决策？
👱♂️Dario
听着，如果你选了一个和价值观根本冲突的商业模式，你会很痛苦——要么背叛自己的价值观，要么变得无关紧要。
我们已经见识过了社交媒体那个消费世界，它似乎在鼓励"投入度"、甚至“成瘾”。还有AI视频模型粗制滥造的垃圾内容，它想最大化你付出注意力的分钟数，因为那是广告收入驱动的激励。
而企业端，我们想让这些模型真正对人有用。我们想用AI去治疗以前治不好的疾病，那是和生物科技、制药、学术研究团队合作；我们想用AI让能源更便宜高效，这也是企业的事；教育、发展中世界的健康，大多是企业或非营利组织。
所以，押注一个与价值观基本对齐的商业模式，对我们大有好处。
SaaS末日："祝你好运，你守不住"
而这套押注，很快在资本市场掀起了一场地震。
Claude Cowork发布后不久，软件板块出现了大清洗式的崩盘，2850亿美元的市值一夜蒸发，交易员们称之为"SaaS末日"（SaaSpocalypse）。
👩💼Emily
如果AI继续以这个速度进步，传统软件会有多少被取代，又会有多快？
👱♂️Dario
这种问题很难提前预测，但这些传统软件公司往往有一堆护城河，我认为有些会消失，有些会留下：
"快速写出别人写不出的复杂软件"这条，我很确定会消失，祝你好运，你守不住；但客户关系、对行业怎么运转的know-how、独有的领域知识，这些会留下。
有了AI之后，蛋糕本身在变大。
如果AI能做的事涨了10倍，一个现有行业涨1.5倍很容易，只是没整张大饼涨得多。
这取决于你怎么定义SaaS——软件行业整体会变大，现有巨头相对份额可能会变小，有些会贬值，有些如果不能以正确的方式适应，甚至面临倒闭。
所以，我给所有人的建议是：别自满，也别忽视它。把你所有的护城河列个清单，清晰哪些会消失、哪些会变得相对更重要，以及可能出现的新护城河。
那些把头埋进沙子、看不到将至之事、没认清自己护城河的公司，会非常难熬。
工程师会是AI的第一批牺牲品吗？
Anthropic最近这波增长，要是没有这个人，可能就不会发生。
Boris Cherny，Claude Code与Cowork背后的研发工程师。加入Anthropic之前，Cherny正在日本乡下独自隔离，过着截然不同的生活。
🧑💻Boris
那边有很多农夫市集，节奏非常慢，我们在做味噌，那是我当时的一大爱好。
我记得我用了人生第一个AI聊天机器人，整个人都呆住了，我当时就想：天啊，我必须参与到这件事里来。我又是个超级科幻迷，所以我很清楚这东西可能会变得多糟糕，毕竟这项技术强大得不可思议。
于是我们就搬了回来。
👩💼Emily
你参与了Claude Code，又主导了Claude Cowork的研发，你想解决什么问题？
🧑💻Boris
如果你看那些编程产品，它们都挺简单的，基本就是补全单词、补全句子，这就是AI在编程领域能做的全部了。
而我们想下一个更大的赌注：我们相信一个Coding Agent其实可以把整件事全包了。
一年半前，你还在手写代码，偶尔按个Tab自动补全一行。现在我对着Claude说话，它就把代码写了；趁上一个Claude还在写，我接着跟下一个Claude说话……任何时候，我手上都有几十上百个Claude同时在跑。
👩💼Emily
内部工程师写的代码里，Claude占多少？
🧑💻Boris
在我的团队几乎是全部。就我个人而言，至少过去半年，它写了我100%的代码。
👩💼Emily
那真正的技术极客呢？他们会怎么样？
🧑💻Boris
真正的极客们……他们得自己想办法。
我觉得对很多人来说，他们以前的技能在未来还是会有帮助，因为他们已经有了相当大的先发优势。对工程师来说，现在要做的很多事情并不是写代码，你得和用户沟通、得做规划、得思考下一步是什么。工程里的这些部分，还是会留下来。
AI会消灭一半初级白领岗位吗？
硅谷或许正发着AI高烧，但别处的情绪要低落得多：70%的美国人认为AI会消灭工作岗位，近1/3的人担心自己就是其中一份。
Dario Amodei对此一向直言不讳，而他的一些预测听上去并不让人安心：
我认为我们可能会迎来一种很不寻常的组合：GDP高速增长与高失业率并存，或者至少是就业不足、低薪岗位泛滥以及高度不平等。
👩💼Emily
你在失业问题上一向很直接，你说过“AI可能在未来一到五年内消灭一半的初级白领岗位”。那已经是一年前的说法了，现在呢？是50%还是更高了？
👱♂️Dario
我不知道具体数值，但我的担忧程度依旧如故。
AI带来生产力的提高，但那只是惯常的"驼峰"：你把一份工作自动化掉90%，人在剩下10%上效率提高了十倍，因为杠杆被放大了十倍，但最终它会逼近100%。
续集就是你得给这些人另外找点事做。
打个比方，眼下AI几乎能写全部的代码了，但AI并没有让一些工程师更高效，反而是让AI直接把那件事做了更划算；但另一方面，我们也在其他地方看到了更多需求。
我们有个角色叫"前线部署工程师"（forward deployed engineer），或者叫"应用AI解决方案架构师"，工作是技术活和与客户沟通的混合体。因为客户很多、我们增长也快，所以这方面的需求很大。
但是不是纯软件工程的每个人，都能转去做这个？不，不是一一对应的。这能让你感觉到会有大量的颠覆，但事情也会调整。
哪边胜出？我不知道。但警告它的意义就在于，这样我们才能回应、才能制定政策。
在软件行业之外，AI对就业的潜在影响似乎更难以预测：
Anthropic曾发表一篇论文，预测在不久的将来哪些领域能最大程度地利用AI。如果预测准确，管理、金融以及法律类工作，可能很快会迎来巨变。
👩💼Emily
哪些工作会消失，又会催生出哪些新岗位？
👱♂️Dario
没人能确定，因为经济本身就难以预测。
AI领域较为有利的一点是蛋糕会大幅扩张，正因为蛋糕会大幅扩张，大概会有一些地方可以容纳这些人，问题只在于能不能足够快地找到它们。
👩💼Emily
那你给我推演一下五年后某天你醒来，这个国家会是什么样子？那些人在做什么？毕竟，如果失业那么严重，革命不就是这么开始的吗？
👱♂️Dario
对，没错，这正是我们想要避免的结局。
我认为会有几个去处，但没有一个是板上钉钉的：一个是物理世界，我们需要更多人去在物理世界里建造和生产东西；二个是任何以人为中心的事物，这类靠人际关系驱动的工作会很重要。
我还觉得，人类会努力去"引导"AI，因为在某个层面上，AI必须与人的价值观、意图保持一致，所以这其中会有一定的角色空间，只是我说不准这个空间是宽泛还是狭窄。
👩Daniela
我会更乐观一点，相信人类会继续寻找借助AI的方法来提升效率，去做那些对我们有意义且只有人能做的部分，人与人之间的互动永远不会完全消失。
我常举的一个例子是医疗：今天我们雇佣的医生都是专业的诊断专家。我觉得AI很快就会相当擅长告诉你"你可能出了哪些问题、该做哪些检查"，这件事你不再需要医生来做。
但AI没法亲自给你做身体检查，没法问你"嘿，我按这里疼不疼"，也没法以那种临床医疗服务的方式对你说："跟我说说你的感受，你在经历这个过程时，是怎么撑过来的？"。
所以，我认为医疗领域会转向更聚焦于bedside manner（床畔礼仪），因为诊断工具会变得更先进，而人与人之间的那部分是不会变的。
"说这是廉价营销，这话本身才廉价"
👩💼Emily
外界对你有不少反应。我知道你说你是在警示大家，但黄仁勋说你在混淆“task”和“job”，说“AI其实在创造工作，任何宣称AI在消灭岗位的人都是在制造恐慌”；也有人说，“这种宣传口径有利于Anthropic的末日营销”。
👱♂️Dario
那我要说得非常清楚，并且强硬地反驳这一点。
在每一次采访里，我都会谈到应对这些风险的可能方法：从税收到宏观经济政策，再到《The Adolescence of Technology》里描述"新工作"的种种可能。我花了整整5页篇幅来详细阐述"任务"和"岗位"的区别，以及为什么这次和以往不同。
我谈问题，也谈解决方案。但社交媒体，我厌恶它。
人们拿着一年前那种“三秒钟”片段到处传，根本不去读文章。
所以"这是廉价营销"这个说法本身，才是廉价营销。
这是懒惰，是拒绝去做严肃的智识工作，是硅谷的一种通病，它陷进了那个“三秒钟”的速食社交媒体世界里。每当有人这么说，我就更不会把他当回事。
我想说的绝不是"末日要来了"，我想说的是“这是我们应该预见到的、应该担忧、并且需要积极去应对的事情”。
从反战青年到签下国防部合同
Amodei家族希望AI能给社会带来乌托邦式的影响，但谁也无法忽视这项技术的破坏性与反乌托邦潜质。
Anthropic正处在这场技术军备竞赛的中心，各方强大的政府势力正竞相争夺主导权。
Dario一头扎进了这片竞技场，不惜炮轰美国政府，也不惜点名合作伙伴向中国出售AI芯片的行为。
👱♂️Dario
我觉得有些玩家在“梭哈”，把风险等级调得太高了，我非常担心。
👩💼Emily
谁在这样？
👱♂️Dario
我不会回答这个问题。
我一直非常直言不讳地强调”对华芯片出口管制“的重要性。之所以这么说，是因为让中国在AI能力上领先，对美国和整个民主生态都将产生不利影响。
有些芯片厂商显然不认同这点，但这并没有阻止我说出来；即便在我们签署了更多合作协议之后，我也照说不误。
所以你看，我们都是成年人了，可以在一件事上合作，同时在另一件事上持不同观点。
Amodei关于地缘政治的表态，可以追溯到他在加州理工的时光。
作为一名物理系的大二学生，他以“反战倡导者”著称，认为“科学家不应固守在象牙塔”。正是这种世界观，塑造了后来Anthropic在战争问题上的立场。
👩💼Emily
你长期持反战立场，但你们却是最早一批与美国国防部签约，并在其机密网络上运行的AI公司。这些网络正被美国用于战争，能否解释一下？
👱♂️Dario
听着，世界在变。当我看到俄罗斯入侵乌克兰，我会担心我们面对的是一个某种程度上极具侵略性的威权阵营，而必要时，我们需要自卫。
我们和国防部合作绝不是为了钱，先不说官司，光是把系统弄上政府网络就够一番折腾，钱还不多。我们做，是因为我们在意。
也正因为在意，所以必须对技术的使用设限。
那些会瓦解我们自身价值观的事——大规模监控和自主武器，我们坚决杜绝。（自主武器Autonomous Weapons，是指在无人干预的情况下，能够自主搜索、识别并攻击目标的武器系统。由于它们能根据周围环境独立做出决定，批评者常称其为“杀手机器人”。）
如果民主国家靠这些才能赢，那这种赢不值得。
👩💼Emily
你们从2024年起就在和Palantir合作，他们的技术被ICE（移民及海关执法局）、各地警察部门、还有加沙地带使用。Claude有没有被用于其他形式的监控？
👱♂️Dario
我们不和ICE合作，不管是通过Palantir还是任何其他渠道；我们不和CBP（海关与边境保护局）合作；我也不认为我们在加沙有业务。
我们对自己的业务边界划分得格外谨慎，只接我们真正认同的事。
意识形态疯子与2亿美元合同
2025年，Anthropic与OpenAI、xAI以及Google，一同拿下了五角大楼一份价值2亿美元的合同，Anthropic将“成为政府的头部AI供应商”视作一次机遇。
据报道，Claude曾被美军用于抓捕委内瑞拉总统Nicolás Maduro的行动，而仅仅几周后，一切开始分崩离析：
👩💼Emily
被人称作"意识形态疯子"或者"一帮左翼狂热分子"，你介意吗？
👱♂️Dario
你知道，我一直被骂得比这难听多了。人们想怎么叫我或Anthropic都行。
真正重要的只有两件事：我们作为一家公司是成功的，以及我们捍卫我们的价值观。
某种意义上，我的生活其实很简单，当你要做的就是这两件事，你永远知道自己站在哪。
👩💼Emily
那么，“赢得这场战斗”究竟意味着什么？
👱♂️Dario
我甚至不会把它叫作一场"仗"，这更像是一场关于"政府该如何正当使用AI”的辩论。
AI是一项新兴技术，我们还不完全了解它在哪些方面可靠、哪些方面不可靠，也不了解它在哪些方面会促进、哪些方面会瓦解我们的价值观。
所以我认为很重要的一点，是为一些好的用例和一些我们担忧的用例，立下先例。别人可以签一份不尊重你那条红线的合同，但我们必须守住。
一纸合同，能做的有限，但它确实把这个议题的关注度提了起来。
在我看来，这就算是赢——让我们的国家更认真地去思考，什么才是这项技术的正当用途。
伊朗女子学校：谁按下了最后的按钮
👩💼Emily
一位美国官员表示「借助LLMs，美军的打击目标已从每天1000个上升到了5000个」，这意味着Claude能帮助更快地杀死更多人。你对此感到安心吗？
👱♂️Dario
你本质上是在问，你信不信这个国家，对吧？你希不希望这个国家在世界舞台上，是一个更强大而非更弱小的存在？
我希望。我是个爱国者，但这不由我决定。
如果我们提供一项技术，那不该由我们来说“你可以执行或者不能执行这次军事行动”，你基本上必须把决定权交到军方决策者手中。
但即便在最理想的情况下，军方决策者也会犯下极为严重的错误。
👩💼Emily
据彭博社报道，Claude正被美军用于伊朗战争中，通过Palantir的Maven Smart System进行AI辅助目标定位。今年2月，一枚美军导弹击中了伊朗一所女子学校，造成150多人死亡，其中大多是儿童。
在那次袭击中，Claude扮演了什么角色？
👱♂️Dario
我们没有权限，所以我们并不清楚这些模型是如何被使用的。
显然，在战争中发生这类事件，是非常非常可怕的。
我们愿意拿公司的前途冒险，就是为了限制这些模型的不当使用方式。我们在这里看到的，是Claude提供辅助，但最终决定由人做出。
更令人担心的，是未来可能出现上百倍于此的情况：想象一个这样的世界，不是Claude（因为我们不允许这样做）而是其他公司的AI模型，模型自行做出决定，而人类根本看不到这一过程……
这才是我们当时挺身而出，去捍卫、去对抗的立场。
👩💼Emily
那所学校有自己的网站，你在Google上一搜就能搜到，难道Claude不应该识别出来吗？这是不是也指向一个更可怕的问题：把技术当成战争中的一条捷径？
👱♂️Dario
这里遵守的原则是，由人做出最终决定。
我不知道Claude或任何其他AI在其中扮演了什么角色，但如果连这件事都不能说明"那条原则为什么如此重要"，那我真不知道还有什么能说明了。
👩💼Emily
AI更可能阻止一场战争，还是更可能引发一场战争？
👱♂️Dario
权衡下来，我会说它更可能阻止战争，但如果对其使用不加限制，反而更容易引发战争。
你看过《奇爱博士》吧？片子的前提是：你有一个末日装置，一旦它认为受到核武器攻击，就会自动发射核武器反击。
会出什么岔子呢？我认为冲突发生的方式，往往是双方互相扑向对方、彼此误判。
同理，当我们对这项技术缺乏妥善的监督时，这类“意外”就更容易发生。
Mythos：强到不敢发布的超级武器
在Anthropic内部，正涌动着一款强大到令所有人都不安的模型——Mythos。
Anthropic曾表示，Mythos能识别出几乎所有主流操作系统的潜在安全漏洞，如果完整发布，Mythos可能利用漏洞入侵银行系统、窃取国家机密并瘫痪关键基础设施。
在一项名为Project Glasswing（玻璃之翼）的行动中，Anthropic向少量经过筛选的机构开放了Mythos的访问权限。
👱♂️Dario
最让我感到意外的是，模型在"发现漏洞"这项能力上一直在往上跃升。在几乎无任何提示的情况下，模型相当擅长“把漏洞变成可利用的攻击”。
一些我们最早给到模型的公司说：
这是一件超级武器，你需要持枪许可证才能使用，请不要发布它。
👩💼Emily
你们实际上是在决定谁能获得访问权限、谁不能。凭什么让人对这种权力的集中感到安心？
👩Daniela
这件事并非"哦，它太强大了，让我们来决定谁配拥有这份权力"那么简单。
它是一个非常具体的、围绕网络安全的担忧。
所以，我们决定把模型交给谁的方式，正是基于这种特定的担忧。
当然，这其中有很多细微之处需要权衡，比如“这个界限究竟该画在哪里？”我认为这确实值得商榷、也很复杂。但我们尽可能做到最大程度地公开透明，并告诉大家：我们努力做出正确的决策，但可能无法做到尽善尽美。
👩💼Emily
有研究者说，他们用更便宜的开源模型就能复现；有人说OpenAI早就有这种能力。对那些说"这不过是场大型公关秀"的人，你怎么看？
👱♂️Dario
"开源模型就能复现"这个说法极其错误。
Mythos是在整个代码库里扫描并找出问题。有人在推特上说，“如果你把开源模型精确地指向Mythos找到的那一行代码，它也能发现同一个问题”。这压根不是一回事。
真正的检验是，我们去找公司、去找开源仓库，我们在Firefox里找到了271个新漏洞，在那些还没修复或还不能披露的私有公司代码库里找到了好几千个。用上一代模型，没人找到过那271个漏洞。
至于“营销/作秀”，你知道，Mythos这款模型极大地加速了Anthropic的内部研究和下一代模型的生产。如果选择发布，它在外部世界也会做同样的事。
但因为不发布这款模型，我们在商业上吃了大亏。
👩💼Emily
你是否已经做过一些“连你自己都不太满意”的权衡取舍？
👱♂️Dario
Anthropic的整个历史进程，本身就伴随着一连串的权衡取舍。
在理想情况下，你更希望在发布第一个聊天机器人之前，先花上几年去研究每一个可能出问题的环节。
我们确实推迟过Claude的初始发布，但只推迟了几个月，所以一切都是取舍。
既然我们已经处在一个我称之为"商业领先"的位置上，我们就有底气把旋钮再往"谨慎"那一端多拧一些，Mythos的处理方式就是如此。
如果你不是领先者，是很难做出这种事的。
“既怕公司握着它，也怕政府握着它”
特朗普重返白宫的第一天，就在前AI与加密货币沙皇David Sacks的协助下，废除了前总统拜登那道“寻求设立护栏”的AI行政命令，转而采取一种不干预、让硅谷自由发展的态度：
我们坚信，对AI领域的过度监管，可能会扼杀掉一个正在腾飞的变革性产业。
但鉴于Mythos及其对国家安全的深远影响，白宫似乎变得坐立难安，并开始表现出对这项强大技术的干预倾向。
👩💼Emily
有一种论调是：为什么政府不直接把你们接管了？它们凭什么允许一家私人公司掌控如此强大的技术？
👱♂️Dario
我认为这是个非常严肃的问题，我也有同样的担忧，但我不认为政府应该直接把我们接管。
但你看，历史上我们所见证过的每一项强大技术——核武器、互联网、GPS、手机，背后要么是政府建造，要么源于政府。
AI是第一项诞生于私营部门，且政府并未真正扮演重要角色、反而是迟到入场的技术。
这其实是一种危险又不稳定的局面，也不是我会主动选择的。
我既害怕公司掌握它，也害怕政府掌握它。
所以，我们需要对权力设立制衡机制：
既要对AI公司的权力有制衡——我们有个长期利益信托，它是一个可以任命和罢免多数董事会成员的机构，顺着这条线，它本质上有权解雇我；也要在政府这一端有制衡——据我所知，国会里已经有要把“那些红线”立法的努力。
我们还需要对这项技术进行基本的监管，尤其是看到Mythos后，我们需要做强制性的发布前测试，以及对模型的审计。
我觉得特别好笑的一点是，硅谷科技界有那么一群特定的人，一开始他们的立场是：哪怕只是给这项技术加点透明度、哪怕只是出口管制，都会末日般地摧毁我们创造技术的潜力，会扼杀创新。
可一旦，他们看到真实的危险开始冒头，突然间，满嘴都是“国有化”、“政府应该直接没收”。
拜托，各位，你们这是从最极端的反监管——"你多看我们一眼就是在毁掉行业"，一下子荡到了彻头彻尾的共产主义——"政府应该把它们攥在手里"。
我们需要的是一种更明智、更温和的路径。
而这恰恰是我们一直以来所倡导的：因为我们真正了解这项技术的力量所在，我们没有恐慌，也没有否认现实——我们看见了那条平滑的指数曲线，并恰如其分地回应着它。
反噬：当抗议烧到Altman家门口
Anthropic培养了一批极其忠诚的拥趸，有些人就是热爱他们所代表的东西；但写字楼外面，也爆发过抗议。如果只看数据，人们对正在发生的一切，更多是担忧而非兴奋。
可事实是，如果你去问那些正在打造这一切的人，连他们自己也会坦白：他们并不完全清楚，这一切最终会如何发展。
👩💼Emily
人们对于AI的抗议开始变得私人化，Sam Altman的家遭到了袭击，这件事对你们有什么影响？
👩Daniela
读到那条消息时真的很吓人，他和家人们都平安无事，我们当然感到如释重负。
我认为，现在正处于技术和政治层面都充满变数的时期，有太多空谈和言辞可能导向糟糕的结果，我希望我们都能尽可能平和地去辩论这个话题。
👱♂️Dario
这件事也吓到了我。随着AI变得对社会举足轻重，人们对它的关注也越来越多，这算是那条指数曲线不太光彩的一面吧。
“社交媒体”曾遭遇过大规模的抵制，一些国家开始禁用它，你认为这会发生在AI身上吗？
👩Daniela
我认为完全有可能。
如果能回到过去，问问那些正要创办Facebook、Instagram、Twitter的人，"把这项技术可能出问题的路径都想透，提前规避掉一些坏事"，他们看着今天的世界，还会做同样的选择吗？我愿意相信答案是"会"。
社交媒体在儿童福祉、心理健康、选举诚信上都栽过跟头，而AI这一代算是占了前一代试错的便宜，所以我们更该趁早去想：能不能利用对这项技术的理解，提前识别、规避那些糟糕的路径？
👱♂️Dario
我不确定这些公司当初是否真的立志、奔着"要做正确的事"或者"让世界变得更好"去的。
所以，我不认为即便他们能回到过去、即便清楚地知道现在的结果，就一定会做出不同的选择——他们当然"应该"，但我不确定他们"会不会"。
可我们不能这样。这也是我们争取"第一次就把它做对"的原因，而不是等出了事，再手忙脚乱地去为"这一切其实都还好"找补。
在我看来，我能想到AI被禁的主要可能，是真的出了大问题。而如果真的出了大问题，那或许活该被叫停。
👩💼Emily
有技术专家说AI会无比美好，也有人说它可能糟糕透顶。你站在这条光谱的哪一端？
🧑💻Boris
我抱最好的希望，但做最坏的打算。
对我来说，这是我做过的最重要的工作。
对一些人而言，这感觉像"最后一份工作"，因为某种程度上它可能预示着工作的终结；而对另一些人来说，也许这不是最后一份工作，但"做好这件事"关乎存亡。
到了某个时刻，这些模型会变得非常危险，“坏人”也会拿到它。
到那时，我们必须确保“好人”手里有一个更强的模型。
如果它的影响像我们谈论的、像Anthropic所警告的那样，你认为Anthropic应承担怎样的责任？对那些被你们改变命运轨迹的人，你们欠他们什么？
👩Daniela
作为开发这项技术的整个行业，我们最终都负有责任——去想清楚存在哪些风险、可能发生哪些不良后果；而一旦其中某些真的发生，在帮助修复这件事上应当扮演什么角色？这才是我们的本职工作。
你不能事后只说一句，“哎，我们当初只是想把产品做大”，我认为任何一家科技公司都不应该采取这种姿态，我也不认为这是Anthropic想采取的。
“我把奥本海默视作一个失败案例"
对于一家始终奉行“我们要把这件事做对”、“我们是一家以AI安全为使命的公司”的组织而言，人们很难理解，为什么Anthropic一边开足马力地推进AI，一边又如此坦诚地警示其潜在危险。
在《Machines of Loving Grace》一文中，Dario描绘了一个“机器与人类并肩协作”的乌托邦未来：AI是一股不可阻挡的力量，正引领人类走向繁荣，而非灾难；为缓解失业带来的冲击，他提出了“全民基本收入”和“对AI公司征收累进税”等方案。
但当Amodei家族直面权力、政治与利益的混乱交锋时，真正的考验在于：在这个由他们亲手构建的庞大帝国面前，当初那份纯粹的使命，还能幸存吗？
正如Google创立之初，不作恶（don't be evil）的座右铭终究在规模扩张的巨浪中被悄然搁置。
你正在打造某种极其强大的事物，并有望从中获取巨大利益。我们凭什么信任你？
👱♂️Dario
我认为从一种"不信任"的立场出发，如果你对Anthropic一无所知，这其实相当理性。
硅谷已经失去了世界的大量信任，并且需要重新赢回这份信任。
而我们试图传递的信息是，我们确实不一样。这一点，必须通过我们实际做的事情去赢得。
👩💼Emily
我了解到你最喜欢的一本书是《原子弹的诞生》。（The Making of the Atomic Bomb，一部史诗级的非虚构历史巨著，讲述了从20世纪初核物理学萌芽，到二战期间美国实施“曼哈顿计划”造出人类首批原子弹的完整历程。）
👱♂️Dario
没错。
👩💼Emily
你觉得自己和奥本海默之间有相似之处吗？
👱♂️Dario
我最有共鸣的人物是利奥·西拉德——最早提出"可能存在链式反应"这一想法的人。
我的看法是，我们没法靠那种超凡脱俗的大人物或者试图掌控一切的中心人物，来度过这一关。
从某种意义上说，我其实把奥本海默视作一个失败案例，一个本不该发生的样本。这里有太多手握利益的强大角色，唯一能让所有人都善终的方式，就是建立某种制衡。
👩💼Emily
你说过，文明崩溃的可能大概在10%到25%之间，这可不是个小概率事件。有没有一种情形，是Anthropic亲手创造的东西导致了它？
👱♂️Dario
我当然希望不会。
我的看法是，这种可能性源于技术本身的运作方式，以及世界上存在众多利益体这一事实。
我们公司内部所做的工作，有一半都在尽可能地降低风险，但它永远不可能归零。
假设外面有一堆航空公司，而你说“好，我要创办一家更安全的航空公司”。你的航空公司比其他所有航空公司都安全10倍，但如果有人来问你，"你能保证你的飞机永远不会坠毁吗？"，我是说，你怎么可能保证得了？
而“降低坠毁概率”和“无法保证绝对安全”，这两种情况是可能同时存在的。
👩💼Emily
可如果一架飞机有25%的坠毁概率，你是不会登上那架飞机的。
👱♂️Dario
没错，25%太高了，我们在努力把那个概率压到低得多的水平，这就是目标。
三千人vs一匹什么都不知道的马
👩💼Emily
“AI在战场上的角色”引发了众多棘手的问题，即便是一家愿意公开探讨自身技术伦理困境的公司，也难免如此。你怎么应对这种压力？
👱♂️Dario
我非常努力地去沟通，并始终保持直率和坦诚。
每隔两周，我会站到公司全体员工面前，花一个小时，单纯聊聊我在想什么、行业里正在发生什么、外部世界在发生什么，完全不加任何审查。
这不仅建立了信任，对我自己也极具释放感，我感觉有3000个人和我在同一个频道上。
那是一种不可思议的放大器，也是应对压力最有用的方式之一：当我们不得不直面外部挑战、必须在过去几个月那些极为艰难的处境中站稳脚跟时，它让我们能拿出一以贯之的姿态。
我觉得这是个巨大的优势，因为我从不觉得自己是孤身一人。
你如何找到内心的平静？你怎么放松？
👱♂️Dario
老实说，很大程度上就是不断暴露在它面前、去习惯它。
有时我会抽出一个周末，打打电子游戏。
有时和Daniela一起，我和妻子也会去意大利。
我们在那儿养了一匹马，于是我就只是坐在它旁边，看着这匹马，心想，“Calypso，你知道吗，你对这一切一无所知，你只是一匹快乐的马。”
一条曲线，一枚导弹，一匹马
从图书馆里那条看不见尽头的指数曲线，到伊朗学校上空那声没有回音的追问，Emily Chang用一整期节目，最终落在了一个问题上：一家亲手制造最危险的技术，又自称在守护人类安全的公司，究竟值不值得被信任？
Dario把答案交给了时间，"别看我们说什么，看我们做过什么"。
那匹叫Calypso的马，仍站在这场喧嚣之外，只是低头吃草，对答案一无所知。
这份“不知道”是一种幸运，而它不必回答的问题，我们谁也躲不开。