利好
Cursor開源MoK框架,MoE模型訓練效率提升41%
2026-08-05 12:35
Cursor發佈MoK開源項目,通過整合GPU傳輸與計算,使MoE架構訓練效率提升41%,目前僅支持英偉達Blackwell系列。
據 Woofun AI 消息,Cursor 已將 Mixture-of-Kittens(MoK)框架開源,旨在加速基於 MoE 架構的大規模模型訓練。該技術將 GPU 數據傳輸與計算操作整合至同一內核,解決了 MoE 架構中因節點分佈導致的頻繁數據傳輸瓶頸。在 512 GB300 規格 GPU 上測試顯示,整體處理效率提升 41%,MoE 層速度較現有公共基準快 2.37 倍。目前 MoK 已被用於在成千上萬的 Cursor GPU 上開展訓練項目,採用 Apache 2.0 許可證,暫僅支持英偉達 Blackwell 系列 GPU,主要面向擁有 GB200 及 GB300 NVL72 集羣的機構。
WOOFUN AI
影響力評估 · 一鍵速讀
MoK 通過軟硬件協同優化,顯著降低了 MoE 模型訓練中的通信開銷,爲大規模稀疏模型落地提供關鍵基礎設施。鑑於其目前僅支持 Blackwell 架構,該框架或加速頭部機構對最新硬件的採購與部署,進一步鞏固英偉達在高端 AI 算力市場的地位。
WOOFUN AI 生成 · 僅供參考,非投資建議
評論
暫無評論