阿里Co-Design Bench实测:GPT-6 Astra仅解决26.4%的真实编程任务
阿里巴巴发布编程智能体验证基准Co-Design Bench,测试AI对真实用户请求的处理能力。结果显示,即使是表现最好的GPT-6 Astra也仅能完全解决26.4%的任务,而在旧基准上这些模型得分超过99%,凸显了现实场景与实验室评估的巨大差异。
推荐理由:原文通过真实场景测试揭示了AI编程智能体在复杂任务中的实际表现与旧基准的差距。
阿里巴巴发布编程智能体验证基准Co-Design Bench,测试AI对真实用户请求的处理能力。结果显示,即使是表现最好的GPT-6 Astra也仅能完全解决26.4%的任务,而在旧基准上这些模型得分超过99%,凸显了现实场景与实验室评估的巨大差异。
推荐理由:原文通过真实场景测试揭示了AI编程智能体在复杂任务中的实际表现与旧基准的差距。
数十个AI智能体用24天,把多位数学家耗费数十年写下的1.5万页证明,转成4300多万行可由计算机逐步验证的代码。AI在检查这些证明时还发现了一个存在近40年的论证漏洞。
推荐理由:多智能体在超大规模数学形式化上的实测进展,可作为观察智能体长时任务能力的参照。