是什么

HBM(High Bandwidth Memory,高带宽内存)是一种把多层 DRAM 芯片垂直堆叠、再通过硅中介层紧贴处理器封装的内存技术。相比传统平铺式内存,它用更短的连线和更宽的接口,在更小的物理面积内实现成倍的数据带宽,同时降低单位数据传输的能耗。

为什么重要

训练和运行大型 AI 模型时,GPU 的算力往往不是瓶颈,把海量参数与数据及时送进计算单元才是,这就是所谓「内存墙」。HBM 提供的超高带宽正是缓解这一瓶颈的关键,因此几乎所有高端 AI 加速器都配备 HBM。其产能与堆叠层数,常常成为先进芯片整体供给的限制因素之一。

与五层蛋糕的关系

HBM 处在「五层蛋糕」的「芯片」层,是 GPU 的关键配套部件。它向下依赖「能源」层的电力和台积电先进封装的制造能力,向上直接决定「模型」层训练与推理的数据吞吐效率。没有足够的 HBM,芯片的纸面算力就无法转化为模型层可用的实际性能。