326
谷歌突破性算法震惊硅谷,华尔街激辩:内存需求要降温了?
美东时间周二,谷歌发布了一个炸裂硅谷科技圈的最新算法:超高效AI内存压缩算法TurboQuant。
谷歌声称,这项算法可以在在不损失准确性的前提下,将大型语言模型运行时的缓存内存占用至少减少6倍、性能提升8倍,本质上,可以让人工智能在占用更少内存空间的同时记住更多信息。
这一算法一经发布,美股芯片股应声下挫。谷歌和华尔街也掀起了一场热烈讨论:当前困扰众多科技巨头的内存芯片短缺灾难是否可以就此终结了?
根据谷歌在官方网站的介绍,TurboQuant是一种压缩方法,它能够在不损失任何精度的前提下大幅减小模型大小,因此非常适合支持键值缓存(KV Cache)压缩和向量搜索。
谷歌的这一算法发布之际,正值全球存储芯片短缺问题日趋严峻的时刻。这一预期对于致力于建设AI基础设施的科技巨头们来说,自然是一件好事。但对于内存芯片厂商们来说,就是利空了。受到内存需求可能降温预期的影响,美东时间周三,美股存储芯片板块在开盘后不久就集体跳水:闪迪一度跌6.5%,美光科技跌4%,西部数据跌超4%,希捷科技跌超5%。
不过,也有华尔街巨头提出了相反的看法。 比如,Lynx Equity Strategies分析师KC Rajkumar就提出,TurboQuant的技术“颠覆性”可能并没有媒体描述的那么夸张。 他表示,谷歌所谓的“8倍性能提升”是建立在与老旧的32-bit模型对比之上的,然而当前的推理模型早已广泛采用4-bit量化数据,因此性能提升幅度并没有那么夸张。
15小时前
20