本文来自微信公众号: Web3天空之城 ,作者:Web3天空之城
01
创业逻辑的范式转移:从人力密集到算力驱动
在Altman看来,2014年他所教授的创业准则在AI时代已显过时。过去,初创公司的护城河往往建立在人才的堆砌和组织效率上,但现在的底层逻辑已经发生了根本性扭转。“你能承担的目标抱负水平、行动速度以及推进效率,都已经发生了彻底的改变”。他指出,廉价且可规模化的token正在取代昂贵的人力成本,成为初创公司最核心的生产力。
这种转变意味着问题的形态发生了变化。Altman认为,现在的创业者不应再纠结于显而易见的点子,而应寻找那些在自动化编程和大规模智能普及之前“完全不可能”实现的机会。他预测,未来几年将出现仅由少数几个人支撑、却能创造数万亿美元市场的公司,其核心驱动力不再是工程师的汗水,而是对模型能力的极限调用。
02
规模的魔法:超越共识的涌现效应
作为“缩放定律(Scaling Laws)”的坚定信徒,Altman对“规模”有着近乎哲学层面的理解。他认为,规模不仅仅是量级的提升,它本身就是一种能够产生质变的系统属性。“规模持续提供远超共识预期的回报,这在AI模型中是真理,在组织结构中亦然”。
他以Y Combinator为例,指出当资助规模扩大到一定程度时,会产生此前从未发现的网络效应。这种“涌现属性”是无法在小规模实验中模拟的。在OpenAI扩展模型时,尽管当时许多顶尖科学家认为这“算不上科学成果”,但Altman选择了押注:“当你找到一个可以突破的时刻时,你确实可以将某项事物推进到人们从未尝试过的规模,那里隐藏着严重被低估的机遇”。这种系统设计理念要求领导者能够忍受规模扩张带来的加速故障,并具备拆解复杂问题的系统工程能力。
03
从实验室到爆款:ChatGPT的偶然与必然
访谈中,Altman揭秘了ChatGPT的诞生过程。令人惊讶的是,这款改变世界的产品最初只是一个“研究演示”。在GPT-3发布之初,OpenAI曾陷入无法找到商业化产品的困境。“我们当时想,既然想不出该构建什么产品,那就把它做成API”。
然而,用户的行为给出了答案。Altman发现,即便没有现成的产品界面,人们依然在利用API key进行原始的对话交互。“秉持YC关于‘观察用户所爱并据此行动’的原则,我们决定开发一款聊天机器人”。尽管发布初期流量经历了剧烈的波动,但到第五天时,Altman意识到他们手中已经握住了一个爆款。这次成功的核心教训在于:当技术拥有强大的实用性时,它会自行冲破产品设计的局限,而前沿实验室必须具备迅速转型为产品公司的执行力。
04
智能公用事业:像买电一样购买智能
Altman提出了一个极具洞察力的比喻:智能将成为人类社会的下一代公用事业。他将其类比为19世纪的电力革命。正如当年的电力公司不直接卖“电”而是推销“夜间照明”一样,现在的AI行业也需要找到那个让大众易于理解的切入点。
“你可能拥有一种Token订阅服务,将其接入所有设备并用于访问一切,它始终在后台为你运行”。Altman认为,未来的商业重心将从模型训练转向高效的推理服务。他建议创业者和投资者关注技术栈中的推理部分,即如何让惊人的智能变得廉价且普及。这种“智能长矛”将抽象掉底层的硬件和芯片,让用户只需关注交互的频次和质量。
05
教育的危机与重塑:元技能的保卫战
面对AI对教育的冲击,Altman坦言自己曾有过“预测失误”。他原以为教育系统会迅速重塑,但现实的系统性变革却比预想中缓慢。“如果我们继续像处于AI时代前那样去教授and评估学生,那注定是行不通的,这会导致思维能力的萎缩”。
他强调,尽管AI可以代劳写作和编程,但这些活动背后的思考过程是无法替代的。教育应当从单纯的技能传授转向对“如何思考”这一元技能的培养。“有些事情即便机器能做得更好,我们也依然会教人们去做,因为这对理清思路至关重要”。如果不彻底改变教学和评估方式,人类的批判性思维将面临严重的风险。
06
未来十年:民主化与资源分配的正义
在访谈的最后,Altman描绘了未来十年的两种分态。最大的分歧点在于技术的权力结构:是走向少数巨头的垄断,还是实现广泛的民主化?“如果少数几家公司掌握了所有资源,世界会变得相当不稳定,且非常脆弱”。他承诺OpenAI将竭尽全力推动技术向全球开放,但也预见到来自安全议题和权力追逐者的巨大阻力。
另一个核心分歧点在于经济模式的重构。随着杠杆从劳动力转向资本,Altman提出了一个激进的构想:“我更倾向于在国家层面建立国民财富基金,让每个人都拥有资本主义的一小部分,也就是公司的一小部分所有权股份”。同时,他提醒社会必须关注“计算资源的分配正义”。当计算资源成为最核心的公用事业时,如何公平地分配算力将成为决定社会结构稳定性的关键。Altman认为,尽管海量的硬件正在接踵而至,但人类对智能的需求几乎没有上限,这种“计算短缺”将是未来长期的常态。
完整访谈
回归斯坦福:重新定义创业
主持人
请和我一起欢迎Sam Altman。这门课程的设计灵感来源于我在这里求学期间的一系列不同经历。其中之一是Terry Winograd的入门研讨会CS-47N:计算机与开放社会。但另一个对我而言具有相当形成性意义的经历是,当时在2014年,我和校园里的许多朋友及同僚都参加了CS-183:如何创业,这门课就是由Sam开设的。所以你能回来真是太棒了。
Sam Altman
感觉如何?回到这里有什么感受?我刚才走进来时就在想,如果我还有一点时间,我会对那门课进行一次更新。因为我认为关于创办一家初创公司的一切都已经发生了巨大的变化。而且我还没见过有人很好地诠释现在应该如何创办一家初创公司。所以刚才走进来时,我确实有这种想法。我当时就在想,如果能再做一次那门课一定会很有趣。
主持人
从时间线上看,你是在2014年教授那门课程的。我认为OpenAI是在2015年创立的,是这样吗?或者是2016年,基本上是2016年。好的,那么在你看来,从旁观者的角度,我感觉你当时已经形成了实现这一目标的工作理论,然后你去尝试实施它。这样的评估公平吗?还是说情况并非如此?OpenAI是过去几十年里Silicon Valley最奇怪的初创公司,因为它起步时是一个研究实验室,实际上根本算不上是一家公司。
Sam Altman
没错。初创公司的常规发展路径通常是先创办一家产品公司,经历一段时间的增长后,随着增长放缓,再设立一个研究实验室并将其整合进去,以探索下一步的发展方向。而我们的情况恰恰相反,我们是先有了研究实验室,后来才不得不整合进一家初创公司。
主持人
确实。我并不推荐这种方式。
Sam Altman
这是一件相当不同寻常的事情。但那并不是我想表达的意思。我想说的是,我们依然遵循了AI时代之前的初创公司规则,因为我们当时正试图将其实现。我们当时还没有实现它。但现在,观察那些顶级初创公司的做法,与仅仅几年前的创业方式已大不相同,所以我认为应该有人(可能不是我)重新开设那门课程。
主持人
那么,基于新的数据,你认为最大的更新会是什么?
Sam Altman
现在的你,只需承担可负担的token成本,就能完成一支由100名顶尖工程师组成的初创团队所能做的事情。而在此之前,这完全是不可能的。在那时,这根本不在初创公司的选项范围内。但现在它是了。所以我认为,你能承担的目标抱负水平、行动速度、推进效率以及同时处理事务的体量,都已经发生了彻底的改变。
主持人
这是否改变了问题的形态?你觉得如果你再次执教,在课程结束时会给学生布置什么样的作业?就是在那个季度结束的时候?
Sam Altman
我认为指派问题去攻克是行不通的,因为如果我能想到一个问题,或者能想到一个非常棒的初创公司点子,如果它对我来说足够显而易见,那么它对很多人来说可能也是显而易见。当我们创办OpenAI时,我们大概是世界上致力于实现AGI的少数几个团队之一,这还是往宽了说。而你需要找到类似这样的东西。
主持人
我确信在今天存在着某种在自动化编程时代之前完全不可能实现的东西,它现在完全不显眼,但很快就会成为一个数万亿美元的市场,而且目前只有四家公司正在钻研它,但我不知道那是什么。比起你们更有可能知道那是什么,我的大脑已经被OpenAI占据了。不过,别人指派给你的工作通常不是你真正想做的。这很合理,但我觉得这会很有帮助——这是一门系统课程——也许可以推理出一个特定的问题,这样他们就能应用这些技术模式,从系统的角度将该问题拆解并转化为他们自身问题的解决方案。
规模化:涌现属性与系统设计
主持人
是的。你在2014年的课程中就开始探讨的一个概念,显然你多年来也曾在公开场合谈论过,那就是规模,规模本身就是一种独特的存在,也就是人们常说的“量变引起质变”。无论如何,作为一个概念,规模似乎是你过去10年来从各个维度进行过实证研究的对象。那么,你能否先帮我们拆解一下,10年后的今天你是如何理解“规模”的?作为一种系统设计属性,无论将其应用于何种工具,你又会如何对其进行解构?我们可以从这里开始吗?
Sam Altman
可以。我不知道为什么接下来的观察结论是正确的。
主持人
我并没有提出任何令自己满意的理论来解释这一现象。
Sam Altman
这让我对建议你遵循它感到有些不安。但我还是会这么做,因为从经验来看,它似乎确实是正确的。我职业生涯中观察到的所有最有趣的现象,无一例外,都与规模化带来的涌现属性,或者规模持续提供远超共识预期的回报有关。这显然发生在AI模型的缩放定律中,也同样发生在你把更多聪明人聚集在一起思考同一个问题时。
在研究环境中,这种情况也出现在公司以及所谓的规模经济中。你可以通过所有这些不同的方式实现。我是在Y Combinator时真正学到这一点的,当时情况变得很明朗。对我而言,每个人都在说,Y Combinator规模太大了,应该缩小规模,每期应该资助更少的公司,Y Combinator最好的时候是每期大约10家公司。而且很多非常聪明的人都这么说。这听起来很诱人,因为那样的工作量会小得多。当时的理论是,最优秀的公司往往显而易见。然后你资助剩下的那些,但效果却没那么大。
但让YC发挥作用的巨大魔法核心在于每一期内产生的网络效应,这是一种在规模化之后才出现的、此前从未被发现的涌现属性。没有人尝试过以同样的方式大规模资助初创企业,因此也没有人偶然发现过当你这样做时会产生这样的观察结果。有一些重要的事情发生了,而这些事情在规模仅为百分之一时是完全不存在的。还有很多其他例子,为了节省时间我就略过了,但我还是想说,虽然我无法解释其原因,但从经验来看,当你找到一个可以突破的时刻时,你确实可以将某项事物推进到人们从未尝试过的规模。而且在较小规模时,它就已经以某种有趣的方式在发挥作用了。通常情况下,这似乎是个好主意。
主持人
而且这似乎也是大多数人做得不够的事情。
Sam Altman
对此我同样无法提供解释。但就像当时我们要大规模扩展AI模型时,领域内的大多数天才都认为,这根本行不通,这算不上什么科学成果。随着规模扩大而变得更好,这并不令人感兴趣。你已经证明了这一点。为什么还要继续扩展呢?我提到了YC的例子。我见过很多创业者,他们会说,如果我把这个规模扩大,可能会发生一些有趣的事情。但我因为一些非特定原因对此感到有些担忧。回顾那些以各种不同方式扩展其公司规模的庞大数据库,几乎总是能发现一些有趣的东西。所以我认为从方向上来看,这是一个值得推进且严重被低估的领域。
在系统设计层面,我认为人们做这件事较少的一个原因是,随着规模的扩大,事物会以加速且不可预测的方式发生故障。如果你真的要扩展某种事物,它总会存在一点故障。总会有非常聪明的人说你不该这样做,不要野心太大,不要做得太大,我们试着从小规模做起。所以拆解这些问题是一个系统工程问题。我以我们扩展AI模型时的情况为例,当时在技术上我们面临的问题是:我们到底能不能做到?这看起来太疯狂了,因为之前从没有人想过要尝试跨越10,000或100,000个GPU进行运算,而这需要大量的顶尖工程人才。还有资本需求,以及为了实现这一目标需要付出什么,这到底怎么可能成为一门生意呢?你该如何去考虑承担这样的风险?
当时研究人员中有这样一种文化氛围,他们会问,如果我们要投入这么多计算资源,为什么非要全部集中在一个项目下?这样我们还能学到东西吗?为什么不把它分配给所有这些项目呢?而在我观察过的几乎每个领域,这种现象都在发生,几乎所有领域在进行规模化扩张时,都会将其拆解为各个难点,或者拆解为每一个不去执行的理由,然后逐一尝试解决。这一点非常关键。
ChatGPT与Codex:从研究实验到爆款产品
主持人
我想针对这一点深入探讨一下,因为很少有人能像OpenAI团队多年来所做的那样,不断地将新产品和新系统进行规模化。但问题seems在于,人类总是带有各种先验的思维模式和预期。系统运行往往会出现故障,而其中最难重构的部分往往是系统设计中的人为因素,即在涉及人类实施者或人类参与者环节。那么,在进行大规模的人员组织,以参与一个可能并非简单重复过往系统的全新项目时,你对“人”的规模化管理有何心得?人们初次接触时可能会有天真的想法,但我认为,拥有明确的目标、实现目标的清晰规划,以及一套明确的决策路径,这些都至关重要。
Sam Altman
所以,如果回顾我们决定扩大模型规模的例子,当时有很多人说,这根本行不通,它会遇到这些问题。这也并非我们所需要的一个更加多元化的投资组合。但一旦我们决定不,我们要押注于深度学习的扩展,这就是我们的核心,如果我们错了我们就会失败,但我们就是要这样做,以下是我们为什么要这样做,以及我们认为如果成功实现目标,世界将呈现怎样的状态,这非常有影响力。而且无论出于什么原因,我们并未进化出擅长思考指数增长的大脑,人们很难想象扩展定律会持续呈指数级增长,也很难想象收入会持续增长,或者一个组织能够应对指数级的复杂性。以我的经验来看,与人们从第一性原理出发,去深度推导为什么这种情况会发生,需要花费大量时间。
主持人
我们可以用两个例子来分析一下吗?第一个是ChatGPT,第二个是Codex。这两者都带来了变革。在座的各位,我试着把它投屏出来好吗?好的。没问题。那么让我设定一个框架,你可以质疑这个假设,然后我们希望能够通过实际发生的例子进行推理。关于聊天,在长一段时间里,在大规模模型扩展的过程中,业界普遍存在一个巨大的思维定势,那就是这些东西到底有什么用?这本质上是一种研究型方案,是一种寻找问题的解决方案,是一种科研优先的方法。它不是一款产品。
后来,ChatGPT发布了,它向全世界证明了这种聊天体验是消费级大规模通用模型的杀手级应用;几年后,事实证明编程已成为企业级的杀手级应用。那么,你们是如何对比和分析你们在发现这些用例、发布产品、扩展规模以及实现商业化过程中所使用的体系的?在这些体系中有没有什么显著的经验教训?我们当时做出了GPT-3,我们需要盈利,因为我们想要将规模扩展到十亿甚至数十亿美元的计算机算力水平。尽管GPT-3很有趣,是一个很酷的演示,但我们无法围绕它构思出一款产品。
Sam Altman
我们一直在思考,但就是想不出办法。我们尝试过一些方案。但都没有成功。因此,我们知道模型会不断进步,但我们也希望能尽早启动营收引擎。我们当时想,既然我们想不出该构建什么产品,那就把它做成API,寄希望于其他人能发现该构建什么产品。于是,我们在2020年夏天左右发布了GPT-3 API。
起初它几乎没有任何反响,但在大约一个月后,据我们所知,它在Twitter上毫无预兆地火了起来。同一天,几位开发者发现了它的一些酷炫用法并发布了出来,其他人也开始尝试,随后很多人开始调用API。但如果你现在回去使用GPT-3或3.5版本,你会惊讶地发现,相对于当时引发的轰动,这些模型在当时表现得有多么糟糕。所以人们尝试了所有这些东西。实际上,人们利用GPT-3真正做出成效的唯一业务就是文案写作。那看起来并不太好,也不怎么令人兴奋。
我们当时的想法是,还是等待更好的模型出现吧。尽管那是当时唯一行得通的业务,但开发者们已经摸索出了如何输入提示词并与之进行对话。我们发现很多人虽然无法将API应用到他们的业务中,但他们都在使用自己的API key进行对话。于是我们说,我们可以构建一个好的聊天机器人,人们显然有这个需求。我们当时有一个新模型,其实在此之前就已经完成,但我们有一个准备在中间发布的3.5版本,而且我们设计了一种新的后训练方法,可以让模型在指令遵循方面表现出色,从而使其更容易进行对话。
所以我们说,API的表现并不理想。或许那曾是一家年化收入规模在1000万美元到2000万美元左右的企业。但人们确实对某样东西情有独钟。秉持YC关于“观察用户所爱并据此行动”的原则,我们决定围绕它开发一款聊天机器人。随后我们将它发布了。当时我们依然没觉得它会表现得如此出色。它最初只是被当作一个研究演示产品,旨在说服他人开发类似聊天产品并为我们的API付费。但它却疯狂地病毒式传播开来。我在YC学到的另一件事是,当某样东西开始迅速增长,即便它还不够完善,你手中也已经拥有了一个爆款。
因此,我们经历了五天的时间,流量猛增随后又回落,每个人都认为这不过是一阵炒作周期。但到了第二天,它又达到了更高的峰值,随后在当天晚些时候再次回落。人们依然会说这只是炒作周期。到了第四或第五天,我就觉得,我已经摸清门道了。我知道接下来会发生什么。就像我们手中拥有了一个极具潜力的杀手级产品。而且我们知道可以把它做得更好。我们知道我们拥有GPT-4,也知道我们可以持续扩大规模。但在第五天的时候,我们将所有人召集在一起说,现在情况紧急。这是一种好意义上的紧急情况。但我们必须同时建立起一家公司并打造出一款产品。随后我们经历了大约两个月的疯狂扩张。然后我们说,我们得以后再想办法搞定商业模式。目前,我们只是向用户收费,这样我们才不会……比如耗尽我们的计算费用,但这显然不是长久之计。事实证明,这种做法也确实行之有效。这就是ChatGPT的故事。而且它具备如此强大的实用性,以至于人们即使在克服了最初的启动门槛后,仍然发现它非常有用。
至于Codex,实际上在ChatGPT之前,我们的计划是全力投入到代码领域。我们知道这些模型能够编写代码。我们知道它们确实可以非常出色,也知道这会是一个极具价值的领域,但随后我们经历了一件极其令人兴奋的事情。当时我们内部的一种信念是,编码是这些模型控制计算机的方式,而机器人则是这些模型控制物理世界的方式。如果你制造出一个足够聪明的模型,让它拥有编写代码和驱动机器人的执行能力,你实际上就能让这种智能为你在这个世界上完成各种任务。所以我们花了些时间才达到那个阶段。我认为Codex在今年年初变得非常出色,但直到5.5版本我们才看到了真正的转折点,现在人们正利用它完成不可思议的工作。
AI管线重构与智能公用事业
主持人
如您所知,在课程早期我们讨论过能力管线(capabilities pipeline)的形态,它在不同研究小组之间正逐渐变得更加标准化。即预训练、中期训练、后训练,以及强化学习(RL)和监督反馈循环。您认为这大致就是使Codex实现能力飞跃的管线架构,并且它现在会保持稳定and一致吗?还是说我们将要对该管线进行重大重构?
Sam Altman
我认为这绝对是当前的管线架构。但我预计我们将经历一次重大重构。我不知道这会在何时或以何种具体方式发生。但这种作为管线运行的方式让我觉得有些奇怪,它看起来并不像是最优解。
我认为这是一个需要由AI去解决的研究课题。我认为我们正处于这样一个节点:我们已经设定了目标,即到今年9月,我们将使用50万个A100等效的GPU,这相当于巨大的算力,将其作为AI研究实习生来使用;而到2028年3月,我们将拥有一个完整的端到端、具备出色能力的各种研究者,例如去推导完整的全新架构。所以我认为,凭借当前的流程和当前的架构,我们将跨越那个界限,让AI能够完成令人难以置信的出色工作。
主持人
你刚才描述的内容中有一点,我们在课堂上一直在讨论系统框架和类比,旨在让某个领域的概念能够被那些可能缺乏相关背景知识的人所理解。但有时由于翻译问题,通过类比进行推理并没有帮助,因为那样会导致错误叠加。你刚才提到,我们的目标是尝试将其作为AI实习生来使用,在Silicon Valley以及了解这些流程运作方式的课堂语境下,这显然是一个非常有用的隐喻。而当你真正将这一隐喻在全球范围内推广时,那些可能缺乏所有背景知识的人,就会开始以不恰当的方式去类比这些模型。那么我们应该如何思考其局限性呢?即在扩展方面,你认为哪些产品类比或研究类比是最有用的?
Sam Altman
在硅谷内部,关于这些类比的局限性,你发现了什么?现在你又是如何处理这两个问题的?我一直非常热衷于研究这一过程,我认为我们正在创造一种新型公用事业。这种情况并不常发生,电力是公用事业,互联网是公用事业,水也是。我想这类事物并不多,因此我们没有太多可供参考的案例来寻找合适的比喻,或从中学习如何向世界解释这一切。但我最近回顾了电力成为公用事业时所发生的情况。从许多方面来看,这是一个很好的类比。当然,它也存在不完美之处。但电力公司,至少是我能找到相关资料的那些公司,他们当时并不谈论“兜售电力”,因为那时没人知道那是什么,也不知道为什么需要它。这听起来非常可怕。
主持人
就像是有什么东西要闯进你家里,甚至可能危及你的生命,这种感觉很新奇,这与以前的世界大不相同。也许他们最初试图兜售的是电力,或者先从电力市场切入,我不太清楚,但无论如何,那套行不通。后来他们开始向人们推销的是“夜间照明”,他们说:“你们从我们这里买到的不是电力,而是夜间的光明;顺便说一下,你们还可以利用这种能照明的东西去做其他所有事情。”但人们会想:“我为什么要那个?”他们又说:“将来有一天它还能帮你洗衣服。”不,不,它做不到。
Sam Altman
我办不到。对我来说,这个跨度太大了。没错。所以我不知道我们该用什么来做类比。但我怀疑即使我们完全正确,即智能即将成为一种新型公用设施,每一家公司、每一位客户、每一个政府都需要并以各种不可思议的方式使用它。你可能拥有一种OpenAI Token订阅服务,将其接入所有设备并用于访问一切,它始终在后台为你运行,做着各种惊人的事情。但我不认为,至少目前来看,我们将其类比为“兜售智能”是合适的,因为人们似乎在某种程度上对此并不感冒。我不知道我们对应于“为你提供夜间照明”的那个概念会是什么,但我认为,如果我们打算成为一种新的公用事业,就需要找到一种方式向世界解释:拥有一种你可以随心所欲使用的“智能长矛”意味着什么。
主持人
那么出现的一个问题,或者说这一类拥有多元化发言者群体所产生的一种涌现特性是,公用事业的类比已经多次被提及,但所指的对象各不相同。Jensen将算力比作一种公用事业,阐述了为何应该普及使用途径等等,并谈到Stanford应该如何整合预算并为全校采购这种公用资源;而你刚才则将智能部分比作一种公用事业。这两种说法都是正确的吗?其中一个是正确的吗?其中哪一个更有可能是正确的?人们应该如何从逻辑上区分将算力视为公用事业与将tokens视为公用事业?我这里所说的算力是指芯片,而tokens则是指代tokens本身。
Sam Altman
这听起来合理吗?我认为作为消费者,无论是企业还是个人,你们会倾向于以更接近tokens的方式来思考,甚至可能是在比tokens更高一个层级的维度上进行考量。我认为你不会太在意硬件在哪里,使用的是哪种具体的芯片,或者是靠什么来驱动它。我认为这些东西都会被抽象化。你会关心的是当你与系统交互时,你能否频繁使用它,它是否便宜,它是否表现出色。
目前我们以tokens来计费,但随着我们进入一个所有人都有一个持续运行并时刻提供帮助的agent的世界,你可能会从更高一个层面来看待它。我的猜测是,就像你支付手机话费时,你是在购买通话时长和一定数量的数据流量,你知道它能处理各种任务,你会使用各种app等等。但对于这种互联网公用事业,你所支付的实际上就是整个系统的访问权限。至于基站底层的特定硬件如何连接to互联网,你并不会过多考虑。我知道我可以花很长时间去钻研公用基础设施,但我还是希望能把话题转到与学生相关的内容上。通常我们会安排问答环节,今天我们就先不做这些,除非你觉得没问题。
对话未来:LLM的潜力与教育变革
主持人
好的,太棒了。那个怎么样?即兴发挥。好的。所以,为了激发大家的创造力,最后一个问题是关于本课程的期末项目,即Cardin 5 by 183,也就是单人前沿实验室。所以这里的每个人都在从事一些项目,模拟自己作为一个拥有所有合适工具的实验室开展工作。他们从Cloudflare那里获得了数十万积分。我想我们可能还有一些OpenAI的token。但他们可以支配大量的算力。那么,如果你在这个班级里,你会为你的单人实验室项目做些什么呢?
Sam Altman
首先,我认为这是一个很棒的项目。我觉得这之所以成为首要考虑的问题,是因为我们刚刚在讨论效用框架。我认为有很多非常聪明的人正在致力于伟大的训练理念,我们将拥有令人难以置信的模型。无论你们做什么,我保证我们都将拥有令人难以置信的模型。就在今年,而且会很快实现。但我认为我们在实现大规模提供廉价智能方面投入得还不够。所以,也许我会去研究技术栈中的推理部分,以及我们该如何让这种惊人的智能变得廉价且普及?我认为这方面的投入不足。并且我认为,所有前沿实验室在很大程度上都将不得不转型为推理公司。
主持人
好吧。可能已经太晚了。调整你的项目方向,但亡羊补牢,为时不晚,去做任何你想做的工作吧。好的,让我们开始提问环节。我会担任主持人,尽量保持专业,不要太尖锐等等。记住这是一门CS课程,但决定权在你们手中。Sam,Sam,蜘蛛也没关系。我们有问题了,太完美了。好的,第一个问题,关于你如何看待Yann LeCun认为LLM是死胡同的观点。首先,在实现人类水平智能方面,这些模型在某些方面已经远远超过了人类智能,而在其他方面则表现得极其糟糕。
Sam Altman
例如,在处理非常长远、需要高判断力的信号和任务时,它们看起来比人类差得多。另一方面,昨天我们的一款模型推翻了一个猜想,这是一个困扰了许多聪明人很久的爱尔兰数学问题。此前,许多才华横溢的科学家——我不确定Yann LeCun是否在其中——甚至在不久前还断言这种事不可能发生,结果模型直接做到了。现在,所有的数学家都在讨论数学是否已经终结,以及这对我们这个领域意味着什么。显然,LLM有能力发现新知识,也显然,它们有能力完成一些人类无法做到的智能化任务。它们未来还会进一步规模化,那么它们在哪些任务上的表现能超过人类,以及这种任务分布是怎样的?我们会拭目以待,但我认为会有很多。
说到我们之前讨论过的对指数增长缺乏信念的问题,我认为这个领域在过去确实被一代科学家拖了后腿,他们对于规模化不会带来什么产出有着过度的自信。而另一些人只是看了看图表,然后说,看起来它还在完美地持续增长。让我们继续讨论,我认为世界模型显然很重要,我们在机器人技术等方面会需要它,但在现阶段押注LLM扩展将失败,在我看来是非常不明智的。作为那个“我早就告诉过你”的人并不会让我感到厌烦,并不是说,我是指在Twitter上有一些喷子,他们多年来一直都在说“这行不通”。这行不通。这太愚蠢了。这是欺诈。这家公司要倒闭了。这种研究方法注定会失败。我过去常因为他们而感到困扰,但现在我甚至连那种“我早就告诉过你”的感觉都没有了。就好像你只是在听着而已。你们还在喋喋不休地谈论这个。
主持人
毕竟,有力的数据支持着我们这一边。
Sam Altman
我不需要表现得那么有趣,去说“我早就告诉过你”。而且,你至今仍坚持认为我们是错的,这对我来说其实并没有什么困扰。
主持人
我认为存在着那种翻篇的时刻。有句老话说,疯狂就是明明手头的证据显示某种做法行不通,却还一遍又一遍地重复同样的事情。从某种意义上说,我认为这确实是一种疯狂。
Sam Altman
我认为会发生这样一种情况:如果你将个人身份认同与某件事情是否成功挂钩,将自己与这种信念绑定,而科学或实证结果最终反驳了你。你会因为过度纠结于自己的身份认同,而无法放下成见,无法看清真相。我认为无论在哪方面,这都是一个重要的提醒。你是如何看待教育的?它显然必须进行超级进化。我曾感到担忧,我原以为到现在应该已经……我认为如果我们继续像处于AI时代前那样去教授和评估学生,那注定是行不通的,这只会导致思维学习能力的退化,或者类似的结果。
我本以为这一点足够显而易见,所以当时并没有那么担心。当ChatGPT发布时,我就想,我们会经历一年的学生作弊且学不到太多东西的混乱期。随后,教育系统将迎来自我重塑。而且,我们将能以更好的方式去教导人们。人们将真正接触到一些必须借助AI才能完成的项目,但这仍然要求他们更多地开动脑筋、深入思考,并探索出新的解决路径。老实说,自ChatGPT发布以来的三年半时间里,我很难指出教育系统整体上发生了什么重大的系统性变革。这对我来说是一次预测失误。我原以为这种变革已经发生了。
因此,我毫无疑问地相信,正如我们应对以往每一次技术飞跃一样,我们能够重新设计教育运作方式,确保人们依然必须学会如何思考。并且,未来会出现一些新的情况。比如,我是一个习惯通过写作来思考的人,我写过许多从未展示给他人看的东西,但这对理清思路依然至关重要。所以我很庆幸自己学会了写作。人们对编程也有同样的看法。因此,有些事情即使机器能做得更好,我们也依然会教人们去做,仅仅是因为教授他们思考和学习这种元技能是有益的。这很有道理。
主持人
但在其他许多方面,我们确实应该彻底改变教学方式、学习方式或评估方式。
Sam Altman
如果我们不这样做,我认为人们的批判性思维能力会出现严重的萎缩。
主持人
请问,你最喜欢的课程是什么?你希望自己在Stanford时选修什么课程?Stanford现在还有introsems吗?
Sam Altman
我大一那年每个学期都选了大概三门introsems。我非常喜欢这些课程。它们之间差异极大。我回首往事时发现,自己能够广泛接触各种事物并对许多不同领域有浅显的了解,这简直太不可议了。如果不是这样,我可能只会去修CS和物理课程,虽然那些课程依然很棒,但我现在更多思考的却是那些看似与我目前工作完全无关、纯属随机的课程,它们在某种重要层面上赋予了我独特的视角。我觉得无论如何我最终都会学会编程,只是当时我并没有意识到这一点。我当时的想法大概是,这些东西固然很酷,但重点还是在于学习CS。我只上了两年学,所以有很多想修的课程都没能修到。但这正是令人惊讶的地方。
社会分歧点:民主化与资源分配
主持人
我想请问,你最尖锐、最具争议的观点是什么?
Sam Altman
我觉得如果给我更多时间思考,我能提出一个更犀利的观点。我认为AI的发展势头只会持续下去,而且我认为这一点目前尚未被广泛认知。如果人们普遍意识到这一点,社会所引发的反响将会比现在强烈得多。或许我并没有什么更犀利的见解,也许最核心的重点在于:如果AI能够沿着目前的指数级路径再持续发展一段时间,考虑到距离ChatGPT发布已经过去了三年半,即便再延续同样的轨迹三年半,世界的发展潜力以及社会的能力边界都将发生翻天覆地的变化。
主持人
好,让我试着针对这一点,利用更多的思维链进行思考。如果我们将你视为一个模型,一个前沿模型,且你具备某些内在能力,那么在接下来的两分钟里,我们将尝试激发那些人们尚不了解的能力。其中一点是,你现在已经经过了后训练,在OpenAI的基础上持续进行了重训练,同时也吸收了来自外部世界关于哪些方法有效、哪些方法无效的反馈回路。所以现在,如果我们暂时将你视为一个预测引擎,那么问题是:在你看来,未来10年内最有可能出现的三个世界分叉点是什么?你对每一个分叉点的概率评估又是多少?这听起来合理吗?
Sam Altman
其中一个感觉非常重要的问题是,这项技术在多大程度上会实现广泛的民主化,又在多大程度上会局限于少数几家公司手中?我认为,在某种设想的世界里,存在各种理由让你觉得默认情况就是技术会集中在少数几家公司手中,而它们最终会占据全球财富中相当大的一部分。那显然会非常糟糕,我们正全力以赴去抗衡这种趋势。
主持人
但我认为,真正避免这种情况需要全球共同的意愿,因为那里存在一种引力场般的状态。我认为我们有必要推动这种公用事业模式的世界,部分原因是:第一,如果少数几家公司掌握了所有这些资源,世界会变得相当不稳定、相当糟糕,并且会让人感到非常不公平。
Sam Altman
但第二,我认为这其中存在真正的对齐失败,而且世界会变得非常脆弱。要实现一个我们想要的、能够代表人人共赢、人人价值观得到体现、人人都拥有自主权的世界,最好的方法就是去推进,将这项技术推向世界。但围绕安全性与稳定性,将会出现非常强烈的反对声音。我认为那将是一个巨大的分岔点。这非常重要。我鼓励各位在职业生涯中努力推动这一点,即这是一项技术。它能为我们带来令人难以置信的科幻未来。生活可以变得无比美好。为了实现这一目标,我们将承担一定的风险。但如果任由风险集中在少数几家公司手中——即便我们本身就是其中之一——也是你们不应该容忍的。
所以我认为,这将是决定未来概率走向的一个重大分水岭。我认为,世界应当对以这种方式实现目标抱有浓厚兴趣,我估计我们有80%的概率会走上民主化的道路。但届时会有非常强烈的安全议题出现,也会有许多追求权力的人试图垄断这些力量。
主持人
预测此事的难题在于,或者说我们人类在预测时所面临的问题在于:一旦你做出了预测,你便拥有了影响该预测结果的主观能动性,还有那个分叉。
Sam Altman
我们很清楚我们将如何运用我们的自主权。这就是我们的信仰所在。我们认为,我们将竭尽所能去推动它朝着这个方向发展。只是,我们看到了来自反方向的力量。也许是一个相关的分叉。关于未来经济模式,有很多讨论。我们是否要实施全民基本收入?我们是否要让每个人都拥有每家公司的一小部分股份?比如,这到底是资本主义且不做改变,还是彻底的共产主义?关于这一点有很多讨论。
一件事讨论得还不够,那就是我们具体如何分配计算资源。也许经济的很多方面能够以某种方式运作,而且我实际上已经不再那么担心短期内的就业问题了。我一直很乐观,认为我们会找到新的工作,但这在短期内可能并不需要像我最初想象的那样具有破坏性。但我们现在确实看到了计算资源的短缺,我可以想象这种情况会变得更加严重,我也能想象计算资源会成为人们最需要的核心公用事业。因此,如果从供需角度来看,计算资源的价格变得极度失衡,那么在如何公平分配计算资源的问题上,将会出现一个非常有趣的分叉。你在那里提到了两件非常有趣的事情,你说在经济层面,我们可能需要全民基本收入,以及让每个人都拥有一定的股份。
主持人
这门课的演讲嘉宾之一是Nicolai Tangen,他管理着挪威主权财富基金。他非常了不起。挪威主权财富基金拥有全球1.5%的公开上市公司的股份。他们实际上也实现了全民基本收入。你可以认为这种情况在今天已经以某种形式存在了,因为目前美国最大的雇主是政府。你也可以认为,其中很大一部分是政府将纳税人的收入进行再分配的一种方式。那么,这些是解决方案吗?这些方案真的需要创新,还是仅仅针对这个时代进行重新实施?你如何看待这些方案的创新性?在Silicon Valley,我们往往倾向于从第一性原理出发重塑一切,那么我们是否应该仅仅着眼于现有系统并对其进行微调?我不认为这些事情需要全新的理念,尽管我会说,相比于固定的月度现金红利,我更倾向于人们能够拥有某种所有权股份。
Sam Altman
没错。我很久以前就资助过一项大型的全民基本收入研究。我也观察过人们投资初创企业时会发生什么。而且我知道我认为哪种模式更能触及人类心理。
主持人
因此,我希望看到的是,随着世界上的杠杆从劳动力向资本转移(我认为这种趋势将持续下去),我们能找到一种方法,在国家层面乃至最终在世界范围内建立类似“国民财富基金”的机制,让你基本上拥有资本主义的一小部分,也就是拥有这些公司的一小部分。至于第二个分叉点,关于计算瓶颈,你说过在某个节点当计算价格在今年一月到现在的这段时间里变得失控时……我目前根据所见数据了解到的情况是,H100和Blackwell的价格中,长期预留与现货之间的价差大约是5倍。我不知道现在是否还这么高,我认为情况有所好转,但问题是你甚至能不能找到H100,因为它们今年几乎已经售罄了。
Sam Altman
这听起来完全没错,现在存在巨大的计算资源短缺。所以,这是一个很好的系统性问题的例子,至少对某些人来说,这感觉就像计算时代的“新冠疫情”,就像所有的卫生纸都被抢光了一样。没错,为什么人们对此不感到恐慌呢?我认为人们假设我们会在现有的硬件上获得巨大的推理性能提升。
我也认为海量的硬件正在接踵而至。但也许需求海啸规模更大。我认为人们确实应该感到某种程度的恐慌。
主持人
你会觉得这合理吗?比如说,根据你现有的数据,我们还要在算力短缺的环境中生存多久?
Sam Altman
我觉得就像其他事物一样,如果不谈价格,就无法真正讨论全球对电力的需求。如果能源价格降低10倍或上涨10倍,世界对能源的需求会有截然不同的表现。我认为AI也是如此,如果我们能让模型足够智能且成本足够低,我认为需求几乎是没有上限的。因此在某种意义上,只要我们能持续取得进展,这种短缺就会一直存在。即便人们在不断提升智能水平,需求仍会高于我们预期的价格水平。毕竟,如果我们能制造出非常出色的个人智能体,而你可以让10个甚至100个这样的智能体全天候为你工作,你肯定会想要那100个。我认为这涉及大量的推理需求。我要把课程的纪念品发给大家,感谢大家的到来,谢谢。
主持人
谢谢大家。
