本文来自微信公众号: 差评X.PIN ,编辑:江江&面线,作者:世超
英伟达怒花200亿美元,买下了一家和自个路线完全相反的公司?
事情是这样的,上周,领投Groq的Disruptive CEO放出了消息,老黄准备吞掉自己的潜在竞争对手,同为芯片制造商的Groq。
而这个英伟达史上最大收购案,立刻在科技圈掀起了不小的波澜。
大伙儿有说英伟达加强垄断的,有分析Groq技术优势的,不过讨论最多的,还是老黄真被前一阵子谷歌的TPU给刺激到了。。。
虽然说起Groq,各位差友应该都比较陌生。如果你觉得听说过,那大概率是跟马斯克家的grok搞混了。
但这家2016年创立的公司,来头可不小。它今年的估值已经达到了70亿美元以上,创始人正是谷歌第一代TPU的设计师Jonathan Ross。
Groq的核心产品也很有意思,是一种叫LPU(Language Processing Unit,语言处理单元)的新型专用芯片,和谷歌搞AI计算的专用芯片TPU放一块儿,确实有点宛宛类卿那意思。
LPU同样抛弃了GPU的通用性,专门为加速AI计算而生。
从名字上也看得出来,它甚至还要更专精一点,纯纯是针对语言模型设计的。
然而,它又是个大大的异类。因为LPU没有HBM,也就是没有大伙儿常说的显存。
一般来讲,模型训练和推理,怎么也得来一个显存。比如咱们要玩个啥模型,看见说明书里写着,最低配置3090,潜台词就是显存没到24G,模型跑不起来。
毕竟大模型每计算一步,都得从存储容器里把参数取到计算核心,算完了再放回去。而显存是模型参数最理想的集散中心,它离计算核心近,容量较大,参数来来回回搬运非常快。
要是没有显存,参数存到硬盘里,咱就等吧,模型立刻开爬,算一个字儿都得憋半天。
即使是TPU,后来为了兼备模型训练,也乖乖添加了显存模块。

但Jonathan Ross不忘初心,LPU承接第一代TPU的概念,只搞模型推理,完全不加显存。
可没有显存,模型的参数能存放在哪呢?
LPU盯上了一个离计算核心更近的存储单元——SRAM。问题是,受到晶体管的物理体积限制,它的存储容量极小,每张卡只有几十到几百MB,根本装不下模型所有参数。
所以,Groq直接暴力组装千卡万卡集群,每张卡上只存模型的一小部分,也只算这一小部分,最后合体输出。

通过这种方式,LPU的数据存取速度能达到GPU的20倍以上,模型推理快到飞起。
靠着奇特但有效的技术路线,Groq迅速圈了一波粉。在他们摆在首页中央的一张统计图上,模型推理业务已经压了亚马逊一头,仅次于微软了。

其实早在一年前,就有不少人觉得Groq LPU要对英伟达GPU来个大冲击,把LPU和GPU拎出来反复摩擦做比较。
毕竟在当时英伟达GPU一家独大的时候,Groq能比行业龙头推理速度再快10倍,简直像天神下凡。
当然,有人看好,就有人看衰。
像是前阿里副总裁贾扬清就做过一个粗略的测算,用LPU运营三年,它的采购成本是英伟达H100的38倍,运营成本则达到10倍,意思是LPU想替代GPU,还差得远呢。
现在好嘛,不用比了。英伟达:我全都要。
但英伟达的“收购”,可不是抛出200亿美元,Groq就归我了。作为一个已经不可能闷声发大财的巨头,垄断变成了悬在英伟达脖子上的一把大刀。
他们用了一种这几年在硅谷屡见不鲜的剥壳式收购,把Groq直接挖空了。
像是微软合并Inflection AI,亚马逊高走Adept等等,都是把技术挖走了,核心人才挖没了,留下个空壳公司,普通员工一点汤也喝不着。
因此,剥壳式收购当属最招骂的一种,没有之一。
所以明面上,英伟达并没有承认收购Groq,而是和他们签署了一份非独家许可协议,授权NVIDIA使用Groq的推理技术。
意思就是,这技术你也能用,我也能用,卖艺不卖身嗷。
实际呢,Groq的核心技术给英伟达了,Groq的首席执行官Jonathan Ross、总裁Sunny Madra、以及几位专注于超高效AI推理芯片的核心工程师,也都被英伟达以雇佣的形式搞到手了。
但说到底,英伟达这次宁可背着骂名,冒着垄断调查的风险,也要把Groq打包带走,其实预示了AI行业的一个大趋势:大炼模型的时代还在延续,但模型推理部署的长尾效应,让模型推理的需求会逐渐超过模型训练。
彭博社今年四月发表的一篇报道就表示,目前,训练成本占大型云计算公司数据中心支出的60%之多,但分析师预计,到2032年,这一比例将降至20%左右。
以前大伙儿不计成本买H100是为了把模型训出来,但现在,像Groq这样主打又快又省的推理芯片,可能才是大厂们以后争抢的核心。
可以说,英伟达通过这次曲线收购,补齐了自己在非HBM架构上的最后一块短板。
这不仅是老黄对谷歌TPU路线的一次迟到致敬,也是在表明,无论是模型的训练,还是模型的推理,所有的算力税,大胃袋的英伟达,还是一分都不想放过。
图片、资料来源:
Groq官网、NVIDIA官网
CNBC、DEV、Techspot、Bloomberg、X、Reddit、Github
