阿里Co-Design Bench实测:GPT-6 Astra仅解决26.4%的真实编程任务
阿里巴巴发布编程智能体验证基准Co-Design Bench,测试AI对真实用户请求的处理能力。结果显示,即使是表现最好的GPT-6 Astra也仅能完全解决26.4%的任务,而在旧基准上这些模型得分超过99%,凸显了现实场景与实验室评估的巨大差异。
推荐理由:原文通过真实场景测试揭示了AI编程智能体在复杂任务中的实际表现与旧基准的差距。
阿里巴巴发布编程智能体验证基准Co-Design Bench,测试AI对真实用户请求的处理能力。结果显示,即使是表现最好的GPT-6 Astra也仅能完全解决26.4%的任务,而在旧基准上这些模型得分超过99%,凸显了现实场景与实验室评估的巨大差异。
推荐理由:原文通过真实场景测试揭示了AI编程智能体在复杂任务中的实际表现与旧基准的差距。