The Decoder· Jonathan Kemper·· 2 天前精选AI 评分68
阿里Co-Design Bench实测:GPT-6 Astra仅解决26.4%的真实编程任务
AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test
摘要/原文摘录
阿里巴巴发布编程智能体验证基准Co-Design Bench,测试AI对真实用户请求的处理能力。结果显示,即使是表现最好的GPT-6 Astra也仅能完全解决26.4%的任务,而在旧基准上这些模型得分超过99%,凸显了现实场景与实验室评估的巨大差异。
推荐理由
原文通过真实场景测试揭示了AI编程智能体在复杂任务中的实际表现与旧基准的差距。
来源:The Decoder · the-decoder.com