OpenAI称评估框架限制GPT-5.6性能

OpenAI指出ARC-AGI-3框架缺陷致GPT-5.6失分，优化后得分升至38.3%，但Opus 5表现更优。

Woofun AI 获悉，OpenAI 指出 ARC-AGI-3 评估框架存在缺陷，未保留 GPT-5.6 Sol 之前的推理逻辑，且在长上下文中删除早期记录，导致模型遗忘游戏规则并重复推理。OpenAI 通过自研 Responses API 改进框架，保留历史推理并压缩上下文，使 GPT-5.6 Sol 得分从 13.3% 提升至 38.3%，生成 token 量降至约六分之一。

然而，采用同一框架的 Opus 5 在‘高推理层级’下得分达 30.2%，高于 GPT-5.6 Sol 最高层级的 13.3%。OpenAI 承认该框架对 GPT-5.6 造成负担，但未对 Opus 5 产生同等负面影响，显示 Opus 5 在此项全球最具挑战性的 AI 评估中表现更优。