WASTE推理引擎開源，支持MacBook運行Kimi K3

SQLite AI開源WASTE引擎，通過SSD存儲專家模型，實現64GB內存MacBook運行Kimi K3，推理速度約0.5 token/s。

據 Woofun AI 消息，數據庫技術公司 SQLite AI 已將 WASTE 推理引擎開源。該引擎允許在配備 64GB 內存的 MacBook Pro 上運行 Kimi K3 專家模型，轉換後模型大小約爲 1TB，推理速度介於每秒 0.49 至 0.54 個 token。

WASTE 在內存中存儲約 27GB 的模型核心部分，超過 80,000 個專家模型則存儲在內置 SSD 中。系統僅針對每個生成的 token 從磁盤讀取當前被調用的專家模型。此版本未採用模型精簡、剪枝或刪除專家模型的技術，專家模型權重重新量化爲 3 位，模型核心部分採用 4 位和 8 位存儲格式。