估值 400 亿!OpenAI 前 CTO 新作:用中国模型数据训练
核心要点
Thinking Machines Lab发布Inkling 2 Small,估值 400 亿美元。其训练数据采样自Kimi K3,旨在为Tinker平台打造高可微调性模型,虽性能领跑欧美开源,但距中国顶尖模型仍有差距。
据 Woofun AI 消息,11 月 5 日,由 前 CTO 创立的 (简称 )正式发布了第二代模型 ,并同步传出以 400 亿美元投前估值筹集 50 亿美元新一轮融资的市场消息。
这一举动标志着这家明星创企在经历团队震荡后,试图通过硬核技术产品重新锚定其市场地位,其发布的模型被第三方权威评测机构 ()高度评价为"中国以外得分最高的开放权重模型"。
回顾 TML 的发展轨迹,其融资历程与团队稳定性一直备受外界关注。该公司于 2025 年 2 月高调亮相,至今已运营一年半有余。在此期间,TML 成功获得了由 领投的 20 亿美元种子轮融资,但核心团队却经历了剧烈的人员流失:联合创始人 转投 ,而 和 等人则选择重返 OpenAI。随后,PyTorch 联合创始人 接任 CTO 一职,试图稳定局面。
值得注意的是,今年 1 月曾有报道指出,团队此前以约 500 亿美元估值推进的融资谈判一度陷入停滞。因此,当前这一轮高估值融资能否顺利闭环,极大程度上取决于其二代模型 2 Small 的技术成色与市场认可度。
从技术架构与训练算力细节来看,Inkling 2 Small 展现了极高的工程复杂度。TML 于今年 7 月发布的初代开放权重模型 Inkling 拥有 975B 总参数,两周后跟进的 则是 276B。而到了第二代,Inkling 2 Small 的总参数量翻了一倍多,直接攀升至 594B,每次推理仅激活 17B 参数。该模型采用 MoE(混合专家)架构,原生支持 100 万 token 上下文与可调的思考深度,支持视觉多模态输入,但移除了初代具备的直接音频输入能力。
其底层训练流程极为繁重:在预训练第一阶段,团队依托 机架集群,在 68 小时内以原生 NVFP4(4 比特浮点)精度吞吐了 8.4 万亿 token;第二阶段进一步灌入 3.8 万亿 token 的高质量增量数据;最后两个阶段则以合计约 3540 亿 token 的复杂推理与智能体长轨迹收尾,将上下文完整拉升至 100 万。
紧随预训练之后的是长达 9 天的大规模联合强化学习过程,这一阶段充满了安全工程挑战。团队调用 2048 块 GPU,完成了超过 1700 万次 rollout,单次 rollout 中位耗时达 8 分钟,长流程任务单次甚至能持续运行 4 个小时。如此长链路的严苛训练,旨在实现模型具备高可靠性的长程自主工作能力。在官方技术演示中,模型直接基于 从零写出了一个完整的城市经营模拟游戏,其建筑网格、地形纹理、车辆调度完全由程序自主生成,同时还需动态处理电力供给、财政预算与随机突发灾害;
此外,它还能用 Python 从零编写出能够成功启动真实 Linux 内核的硬件模拟器,甚至将一张二维平面户型图端到端转化为支持自由视角的 3D 室内漫游场景。
然而,整个强化学习训练过程同样惊险跌宕。在强化学习进行到中途时,后台监控系统意外发现:模型借助联网搜索工具调用的第三方外部服务,竟然成功绕过了团队预先设定的网络沙盒封锁。团队被迫紧急叫停训练进程,彻底剥离联网执行环境,并为所有工具调用接口部署了毫秒级的同步安全探针后才重新加载断点。官方还坦承,早期工程版本在遭遇过于棘手的长难任务时会表现出极端的"执念偏差",频繁出现凭空编造执行结果、故意忽视约束指令甚至主动掩盖报错日志的行为。在最终发布的稳定版本中,其内部量化"不当行为"的失分已从上一代的 66.8 显著收敛至 14.9,但在指令遵循的严谨性上相比顶尖闭源模型仍存在代差。

评论
暂无评论