短题分数相近陷阱：长任务放大模型差距

据 Woofun AI 消息，生成式 AI 模型在简短测试中表现出的能力差距往往被低估，一旦置入需要连续执行数十个步骤的长程任务，这种微小的单步差异便会呈现出显著的放大效应。宾州大学华顿商学院教授 基于最新研究提出警示，强调在 AI 代理工作流程的设计中，负责规划与协调的核心角色必须由具备更强判断力的模型承担，而非盲目追求成本优化。

这一观点直接挑战了当前业界普遍认为"短测验分数接近即可互替"的简化假设，揭示了模型在复杂工作流中真实能力的深层裂缝。长任务不仅是时间的延伸，更是对模型稳定性与逻辑一致性的极限压力测试，任何单一步骤的轻微偏差，都可能成为最终任务失败的导火索。因此，重新审视模型选择标准，特别是针对连续执行能力的评估，已成为部署高可靠性 AI 系统的关键前提。

深入剖析这一现象的机制，源于一篇题为《The Illusion of Diminishing Returns: Measuring Long Horizon Execution in LLMs》的研究论文。该研究将焦点从模型能否自行构思解法，转移至其在既定计画下的"执行"能力。研究者在提供模型完整知识与步骤后，观察其完成一连串操作的表现，发现即使较小规模的模型在单一步骤的正确率已接近完美，规模较大的模型仍能维持更长的正确执行回合。

随著任务步骤的拉长，各模型的逐步正确率均出现下降，这种落差不仅归因于上下文长度的增加，更关键的是研究观察到的"自我条件化"现象：当对话脉络中包含了模型先前产生的错误，模型在后续步骤中犯错的机率会显著增加。单纯依靠扩大模型规模无法完全消除这种效应，但让模型进行额外的思考过程能有效减轻问题，从而延长其在单次工作阶段中的可靠执行范围。该论文已刊于 ICLR 2026，最新版本于今年 3 月修订，为理解长程任务中的模型行为提供了严谨的实证基础。

Mollick 将这项研究结果延伸至实际应用场景，特别是针对需要研究、操作工具、检查结果并多次修正的复杂任务。他主张，在这种多步骤流程中，单步能力的微小差异会在整个工作流中不断累积，最终导致结果的巨大分歧。因此，他主张由较强的模型担任"协调者"角色，负责高层级的规划与监督，而非假设较便宜的模型只要在短测验中表现接近，就能直接取代前沿模型。

然而，这仅是 Mollick 对研究结果的一种应用解读。论文本身并未直接比较多模型代理架构的效能，也未量化不同模型组合的成本效益。企业在决定是否采用较昂贵的协调模型时，必须综合考量自身的任务特性、错误代价、延迟要求以及推理成本。

在实务风险控制方面，长程任务的核心挑战在于错误可能一路传递，而非在某一步答错后立即终止。为了降低风险，实务上应将任务拆解为可验证的小步骤，并保留必要的人工覆核点。

同时，系统设计需具备回复到先前状态的能力，以便在检测到错误时进行纠正。论文结果表明，更强的模型与额外思考虽然可以延长可靠执行的范围，但并不代表模型不会出错。因此，依赖单一模型的自动执行仍存在隐患。引入检查与回复机制，不仅是对模型局限性的补偿，更是确保系统稳定运行的必要手段。这要求开发者在设计 AI 代理系统时，必须预留足够的缓冲空间与干预通道，

结论而言，这项研究带来的核心启示并非"所有工作都该用最贵模型"，而是模型基准测试与部署决策必须纳入任务长度和连续执行能力的维度。短题得分相近，并不必然代表模型能在复杂工作流中互相替代。企业在评估模型时，应超越传统的单题分数，关注其在长程任务中的稳定性与错误累积特性。至于较强模型是否适合担任协调者，还需视实际工作流程能否从其判断与监督能力中获得实质效益。