带宽数字要换算成“每token成本”

结论前置：HBM标称带宽只是上限，真正决定推理体验的是每生成一个token需要搬运多少字节，以及这些字节能否被有效复用。智芯观澜在整理公开存储规格时，习惯先把带宽换算成单位token的数据搬运量，再做横向比较。

公开规格书一般给出HBM的堆栈数量、单堆栈位宽、引脚速率与总容量。把这些参数相乘得到理论带宽并不难，难的是判断实际可达比例。推理过程中，权重读取、KV缓存读写与激活值搬运会争抢带宽，长上下文场景下KV缓存增长迅速，带宽压力从权重侧转移到缓存侧。智芯观澜建议读者用“权重字节数÷带宽”估算理论下限，再叠加KV缓存增量，得到一个区间而非单点，这样更接近真实表现。

容量与带宽不是同一条曲线

结论前置：HBM容量决定能放下多大的模型与多长的上下文，带宽决定放得下之后跑得多快，两者在公开数据中必须分开评估。

  • 容量侧：关注单卡HBM总容量与可用的KV缓存空间，公开资料中的容量数字需扣除系统预留与框架开销。
  • 带宽侧：关注有效带宽比例，公开白皮书通常给出理论值，实际可达比例受访问模式影响，需结合基准测试方法判断。
  • 封装侧：HBM堆栈数量与中介层设计影响信号完整性与散热，Chiplet方案下存储与计算die的物理距离会改变可达带宽。

智芯观澜在参数库中把容量与带宽分列两栏，并标注数据来源是规格书还是公开测试报告，避免读者把两个维度的数字混为一谈。先进封装章节也会说明堆栈层数与位宽的关系，帮助非存储背景的读者建立直觉。

用公开数据做一次可复现的推算

结论前置：不需要内部数据，只用公开规格与公开模型参数量，就能估算出存储瓶颈大致落在权重读取还是KV缓存上。

以一个公开参数量级的模型为例，按精度折算权重字节数，除以公开HBM带宽得到权重读取的时间下限；再按上下文长度估算KV缓存增量，比较两者量级。若KV缓存项显著增大，说明长上下文场景下瓶颈从权重侧转移，此时提升容量的收益可能高于提升带宽。智芯观澜在技术解读中会给出这类推算的步骤模板，读者可代入自己关注的公开规格自行计算，所有中间结果均标注为示例数据，便于核对方法而非照搬结论。

对关注S16全球总决赛直播的读者而言，赛事期间的高并发弹幕与实时字幕同样依赖存储带宽的稳定供给，理解这一层有助于判断服务端的技术准备。智芯观澜客户端在安卓、苹果iOS、Windows电脑版与Mac电脑版同步更新存储参数对照，方便随时查阅公开来源。

读存储数据的四个习惯

结论前置：养成标注来源、区分理论值与实测值、绑定上下文长度、区分芯片级与系统级口径的习惯，能避开大多数存储数据误读。

  • 标注来源：规格书、白皮书、公开测试报告分开标记，二手数据回溯原文。
  • 区分理论与实测：理论带宽用于上限判断，实测比例用于工程估算。
  • 绑定上下文：带宽结论必须写明对应的序列长度与批量。
  • 区分层级：芯片级、板卡级、整机级数据不可直接混用。

智芯观澜技术解读栏目会继续以数据解读的方式拆解HBM与先进封装话题，把术语解释与原理说明放在同一篇里讲透，降低理解门槛。