英伟达全栈协同设计推理吞吐提升 30 倍

据 Woofun AI 消息，针对 GPU 内存压力及 HBM 供应趋紧问题，提出通过硬件与软件全栈协同设计提升内存效率。该方案利用 NVFP4 低精度格式压缩模型权重和 KV Cache，并将非活跃上下文转移至低成本存储层，同时借助多 GPU 分布式部署释放 HBM 空间。在 SemiAnalysis AgentX 测试中，GB300 NVL72 在特定工作负载下的单位成本推理吞吐量最高达到 H200 平台的 10 倍；Vera Rubin NVL72 相较 GB300 NVL72，单位成本推理吞吐量最高提升 30 倍，而单 GPU HBM 容量仅增加约 3%。