OpenAI révèle 30% des tests SWE-Bench Pro défectueux
OpenAI a analysé SWE-Bench Pro, un test populaire pour évaluer les compétences de programmation des IA, et a identifié que 30% de ses tâches sont défectueuses. L'entreprise retire son soutien à ce benchmark, soulignant des problèmes comme des tests trop stricts ou ambigus. Les résultats influencent les décisions de publication des modèles d'IA.