WASTE推理引擎开源，支持MacBook运行Kimi K3

SQLite AI开源WASTE引擎，通过SSD存储专家模型，实现64GB内存MacBook运行Kimi K3，推理速度约0.5 token/s。

据 Woofun AI 消息，数据库技术公司 SQLite AI 已将 WASTE 推理引擎开源。该引擎允许在配备 64GB 内存的 MacBook Pro 上运行 Kimi K3 专家模型，转换后模型大小约为 1TB，推理速度介于每秒 0.49 至 0.54 个 token。

WASTE 在内存中存储约 27GB 的模型核心部分，超过 80,000 个专家模型则存储在内置 SSD 中。系统仅针对每个生成的 token 从磁盘读取当前被调用的专家模型。此版本未采用模型精简、剪枝或删除专家模型的技术，专家模型权重重新量化为 3 位，模型核心部分采用 4 位和 8 位存储格式。