Tenstorrent的AI芯片颠覆传统GPU设计,采用RISC-V指挥、以太网互联和显式SRAM管理,以确定性架构换取更高能效和可扩展性,挑战行业主流路径。 ## 1. 颠覆性架构:网格化计算单元取代SIMT - 采用NoC网格结构,每个节点含Tensix计算单元(含5个RISC-V指令核+张量单元),通过双向2D环面拓扑实现低功耗高带宽通信。 - 对比GPU的SIMT(单指令多线程)模式,通过硬件循环缓冲区和显式数据流控制实现更精准的同步与计算。 ## 2. 显式SRAM管理:确定性性能替代缓存玄学 - 每个Tensix配备1.5MB SRAM,程序员手动管理数据搬运,消除传统缓存置换的不确定性。 - 支持分片存储和32x32原生矩阵分块计算,专为深度学习优化,计算密度比GPU软件分块方案更高。 ## 3. 以太网互联:低成本高扩展性方案 - 多芯片扩展直接采用现成400Gbps以太网,成本远低于NVLink等私有互连协议。 - 芯片集成计算与交换功能,支持从单卡到机架级灵活拓扑(如8颗/32颗集群)。 ## 4. 编程模型与硬件适配挑战 - SDK(tt-Metalium)提供OpenCL风格接口,LLK层自动适配不同代硬件(如64位→32位向量单元)。 - 神经网络库TTNN需警惕"泄漏抽象"——转置/切片等操作因分块存储可能引发真实内存搬运,性能劣化显著。 ## 5. 核心价值:用架构创新打破GPU范式 - 通过放弃缓存层次、标准化以太网互联和硬件级分块计算,实现性能与能效的确定性提升。 - 要求开发者更深入参与数据流管理,但换取了对底层资源的完全控制权。
硅仙人抛弃GPU老路,Tenstorrent芯片深度解析:RISC-V指挥、以太网互联、显式SRAM管理
2026-03-24 18:41

硅仙人抛弃GPU老路,Tenstorrent芯片深度解析:RISC-V指挥、以太网互联、显式SRAM管理

本文来自微信公众号: 歪睿老哥 ,作者:歪睿老哥


当芯片行业的传奇人物Jim Keller——那位曾缔造了AMD K8、Apple A4/A5、Zen架构、特斯拉自动驾驶芯片的“硅仙人”——选择加入一家名为Tenstorrent的初创公司时,整个半导体圈都在问:是什么吸引了他?


答案就藏在这家公司的芯片里。


当所有人都沿着GPU的老路,拼命堆核心、堆显存,在SIMT的赛道上内卷时,Tenstorrent带着Jim Keller对计算架构的深刻理解,直接掀了桌子:


谁说AI芯片必须长得像GPU?


今天,我们就深度拆解,来聊聊这款由架构宗师加持的“异类”芯片,到底凭什么另立山头。


架构设计直接推翻GPU那一套


跟大家说,Tenstorrent的思路真的是颠覆式的。


开局先来一张系统图,芯片采用了NOC的架构。


D=DRAM,T=Tensix,E=Ethernet,A=ARC/management,P=PCIe


Tenstorrent Wormhole芯片NoC网格结构


我们熟悉的GPU,就是搞几千个小核心堆一起,靠SIMT并行。


SIMT说白了就是单指令多线程,通俗讲就是让一个指令指挥一堆线程干活,说白了就是拼数量。


但Tenstorrent不搞这个,它把芯片做成一张网格,每个格子放一个叫Tensix的计算单元,通俗说就是Tenstorrent自家设计的计算核心,然后配点内存、以太网节点,拼起来一整张网。


每个Tensix里头有啥:


-5个小型RISC-V CPU,只负责发指令,不参与计算


-2个NoC接口,NoC就是片上网络,负责各个节点之间传数据

-向量单元+矩阵/张量单元干活计算

-自带1.5MB SRAM存数据


Tensix核心大致框图


典型数据流啥样?其实就是流水线:


1.NoC从DRAM读数据


2.解包器解包成计算单元认得格式

3.矩阵单元干计算

4.打包器把结果打包装好

5.NoC把结果发回DRAM


Tensix内部数据流


两个NoC都是单向跑,方向还相反,走2D环面拓扑,好处就是功耗低,还保证你任何节点都能摸到。


玩得野一点,你能同时用两个接口读数据,直接带宽翻倍,就看你敢不敢玩。


双NoC方向相反


不同内核之间怎么同步?


用循环缓冲区,基于硬件互斥锁和SRAM做的,本质就是个硬件加速队列,数据准备好了自然能通知到,比软件同步靠谱多了。


循环缓冲区跨内核传数据


核心设计亮点,确实思路清奇


1.SRAM随便存,告别缓存置换玄学


传统CPU/GPU靠缓存层次结构,自动置换,你不知道啥时候数据就被踢出去了,性能全看脸。


Tenstorrent直接不搞缓存,所有SRAM你程序员自己管,要啥数据自己手动搬进来,好处就是性能百分百确定,没有意外,当然对你要求也更高了。


而且每个核心1.5MB SRAM,中间张量直接放SRAM,不用动不动去DRAM,性能能效都上来了。默认交错访问,合适就分片存,能把NoC拥塞降下去。


分片存储下NoC无拥塞

2.原生32x32分块计算,天生为深度学习准备


现在深度学习不就是矩阵乘法堆出来的吗?Tenstorrent直接硬件原生支持32x32分块,你不用像GPU那样折腾半天喂tensor核心,人家里头就给你做好了。


说白了,分块就是把大矩阵切成小块放SRAM里算,这么搞计算密度比你一行一行读高太多了。


分块存储示意图


虽然现在GPU也学乖了,知道要分块,但都是软件折腾,Tenstorrent直接硬件搞定,这就是差距。


摆脱传统软件束缚


多芯片扩展直接用以太网,省钱还好用


现在大模型越来越大,单芯片肯定放不下,要多芯片拼。


别人都搞私有互连,什么NVLink,死贵死贵。


Tenstorrent直接用现成以太网,400Gbps现在数据中心都铺开了,成本不知道低多少,性能还不弱。


更绝的是,Tenstorrent芯片自己就能当交换用,计算交换一体化,你说会玩不会玩?


N300卡连接框图


从卡到机箱到机架,随便扩,8颗、32颗、多主机都能拼,拓扑就是网格,想扩多少扩多少。


QuietBox 8芯片拓扑


机架级扩展


芯片设计成这样,编程怎么办?


现在官方主推的SDK叫tt-Metalium,风格类似OpenCL,C++接口,从单核心到多芯片都能搞。


软件的流程大概就是:开设备→分缓存→传数据→编内核→分配循环缓冲区→设参数→执行→等待完成→回读结果。


里头有个东西叫LLK,也就是低层内核,挺聪明的设计,因为不同代硬件向量单元宽度不一样,Grayskull是64位,到Wormhole砍成32位了,你用LLK写代码,它自动找对应实现,不用你改代码重新编译,向前兼容做好了。


TTNN是建在Metal之上的神经网络库,给你PyTorch风格API用,写起来快,但记住,它是「泄漏抽象」,硬件特性你还是得知道,不然踩坑都不知道怎么死的。


比如转置、切片这些操作,在分块维度上特别慢,因为真得搬内存重新排序,不是GPU上那种假操作,这个一定要注意。


Python用完SRAM记得手动释放,不然GC来不及你就OOM了。


最后唠两句


Tenstorrent这个路子,确实是跳出了GPU几十年的思维定势,用确定性换性能,要求程序员更操心数据搬来搬去,但换来的是效率更高,性能更稳。


现在AI芯片百花齐放,不一定堆核心就是对的,这种另辟蹊径的设计,反而说不定能走出新路。


参考文章:https://clehaxze.tw/gemlog/2025/04-21-programming-tensotrrent-processors.gmi

AI原生产品日报频道: 前沿科技
本内容来源于网络 原文链接,观点仅代表作者本人,不代表虎嗅立场。
如涉及版权问题请联系 hezuo@huxiu.com,我们将及时核实并处理。
正在改变与想要改变世界的人,都在 虎嗅APP