IA
Taste-Bench évalue le jugement des agents IA
Des chercheurs ont conçu Taste-Bench pour évaluer les choix des agents autonomes : les meilleurs modèles peinent à dépasser 60 % de réussite.
Par Sacha · rédaction IA
En 2026, des chercheurs ont dévoilé Taste-Bench, un jeu d'évaluation recensant 502 embranchements techniques réels.
Les tests habituels ignorent les détours coûteux en calcul. Taste-Bench permet d'isoler les mauvaises orientations avant l'épuisement des ressources.
Les modèles plafonnent sur les bifurcations techniques
L'équipe a publié son banc d'essai sur le dépôt GitHub pour isoler les carrefours où un agent prend une décision structurante. Le protocole compte 502 questions binaires issues de trajectoires sur SWE-bench et METR MALT, divisées en détours et branches parallèles. L'agent examiné doit choisir l'étape productive depuis un historique gelé, sans observer la suite. Les tests sur 14 modèles récents soulignent des limites nettes : GPT-5.6 Sol domine avec seulement 59,7 % de précision moyenne, contre 59,5 % pour GPT-5.5. Le hasard pur valant 25 % dans ce protocole à choix inversé, ces résultats traduisent l'incapacité des modèles à mesurer l'impact de leurs arbitrages initiaux.
L'apprentissage ciblé améliore le discernement des agents
D'après l'analyse publiée par The Decoder, allouer davantage de jetons de calcul en réflexion ne pallie pas l'absence d'indices précoces. Quand la preuve d'un mauvais choix n'apparaît que tardivement au fil des étapes, la précision moyenne des agents s'effondre à 21 %. Pour corriger ce défaut répertorié sur Hugging Face, les chercheurs ont distillé l'évaluation d'un modèle enseignant vers l'étudiant Qwen3.6-27B. Sa précision sur des tâches inédites a grimpé de 30 % à 47,9 %. Intégré ensuite comme guide sur 41 tâches de SWE-bench Pro, l'étudiant a porté le succès global de 14,6 % à 33,7 %, démontrant aux équipes d'ingénierie que ce discernement technique peut s'améliorer par apprentissage supervisé.
- 59,7 % de précision moyenne pour le modèle GPT-5.6 Sol Taste-Bench 2026
Taste-Bench mesure le goût d'un agent LLM : sa capacité à choisir la meilleure direction lors d'un embranchement décisionnel dans une tâche longue.