利好

Arena推出AutoEval功能,1小时生成模型评分

2026-08-01 10:40:11

Arena上线AutoEval功能,利用奖励模型模拟人类偏好,1小时内生成新模型评分,与人工排名相关性超0.98。

Woofun AI 获悉,Arena平台正式推出AutoEval功能。该功能基于数百万组真实用户偏好数据训练的奖励模型,通过模拟用户投票行为,在不到1小时内为新发布的文本、视觉、音频及代码模型生成初步排行榜分数。AutoEval得分将随后续人类投票结果进行修正,目前回测显示其与人工排名相关性超过0.98。当模型间分差超过10分时,系统判断胜出方准确率超90%;分差达15分时准确率达100%;但分差小于5分时,区分能力仍有限。

WOOFUN AI

影响力评估 · 一键速读

AutoEval将模型评估周期从数天缩短至1小时,显著提升了新模型上线后的反馈效率。高达0.98的相关性表明AI评分已具备较高的参考价值,可作为人工投票的有效补充。尽管在细微分差下存在局限,但该功能有望加速大模型迭代节奏,优化开发者体验。
WOOFUN AI 生成 · 仅供参考,非投资建议

评论

回复 @用户
0/800

暂无评论

消息提醒

登录后查看消息
查看全部消息管理订阅