超微电脑联合 IBM 英伟达推出 KV 缓存方案

此次合作整合了超微电脑的硬件、IBM 的基础设施及英伟达的算力优势，旨在优化大模型推理效率。KV 缓存是提升推理吞吐量的关键技术，该方案的推出或有助于降低云端推理成本，推动相关硬件需求增长。