Vers une science de la fiabilité des agents IA

Quantifier l’écart entre capacité et fiabilité

Traduction de l’article New Paper: Towards a science of AI agent reliability par Sayash Kapoor et Arvind Narayanan, sur Substack, 24 février 2026.

Supposons que vous entendiez parler d’un nouvel agent IA capable d’améliorer la productivité, en effectuant des achats, en écrivant du code, en envoyant des e-mails ou en traitant avec un client à votre place. Devriez-vous lui faire confiance ? Cet agent peut-il accomplir cette tâche de manière suffisamment fiable ? Après tout, il existe de nombreuses histoires horribles concernant des agents qui ont mal tourné.

Étonnamment, même si le manque de fiabilité des agents IA est bien connu, l’industrie de l’IA ne dispose actuellement d’aucun outil efficace pour mesurer la fiabilité, ni même d’une bonne définition de la fiabilité.

Arvind et Sayash réfléchissent depuis longtemps à cette question. L’automne dernier, nous avons été rejoints par le chercheur postdoctoral Stephan Rabanser, dont la thèse de doctorat portait sur la question de la fiabilité dans des systèmes d’IA plus simples et plus traditionnels. Nous avons recruté quelques autres chercheurs indépendants et avons publié ce que nous espérons être une mesure complète de la fiabilité. Notre projet de document s’intitule « Vers une science de la fiabilité des agents IA ».

Nous avons emprunté des idées à de nombreux autres domaines, tels que la sécurité nucléaire et aéronautique. Nous avons pu décomposer la fiabilité en 12 dimensions différentes. En évaluant 14 modèles sur deux benchmarks complémentaires, nous avons constaté que près de deux ans de progrès rapides en matière de capacités n’ont produit que des gains modestes en termes de fiabilité. Consultez notre tableau de bord interactif ici.

Tiré de New Paper: Towards a science of AI agent reliability

Bien que nos conclusions soient provisoires à ce stade, nous espérons qu’elles pourront aider à expliquer la perplexité de nombreux acteurs du secteur quant à la raison pour laquelle les agents IA ont eu un impact économique progressif, alors même qu’ils pulvérisent les benchmarks de capacité.¹ Afin d’aider la communauté à suivre systématiquement la fiabilité, nous prévoyons de lancer un « indice de fiabilité » des agents IA. Nous espérons que cela incitera les chercheurs et les acteurs du secteur à investir des efforts dans l’amélioration de la fiabilité.

Table des matières

La précision ne suffit pas : les quatre dimensions de la fiabilité

Lorsque nous considérons qu’un collègue est fiable, nous ne voulons pas seulement dire qu’il fait bien son travail la plupart du temps. Nous voulons dire quelque chose de plus riche : malheureusement, les agents IA sont évalués sur la base d’un seul chiffre, le taux de réussite moyen dans la tâche. Ce chiffre a augmenté rapidement pour de nombreuses tâches au cours des deux dernières années, ce qui explique l’engouement pour le déploiement d’agents.

Ils font toujours les choses correctement, ils ne font pas les choses correctement aujourd’hui et mal demain pour la même chose (cohérence).
Ils ne s’effondrent pas lorsque les conditions ne sont pas parfaites (robustesse).
Ils vous préviennent lorsqu’ils ne sont pas sûrs plutôt que de faire des suppositions avec assurance (calibrage).
Lorsqu’ils font des erreurs, celles-ci sont plus susceptibles d’être corrigibles que catastrophiques (sécurité).

Les domaines d’ingénierie où la sécurité est cruciale (aviation, nucléaire, automobile) ont compris il y a des décennies que la fiabilité n’est pas la même chose que la performance moyenne. Ces domaines ont convergé indépendamment vers les quatre dimensions suivantes : cohérence, robustesse, prévisibilité et sécurité (fréquence et gravité des défaillances).

Par exemple, les systèmes de protection des réacteurs nucléaires doivent réagir de manière identique chaque fois que les conditions justifient un arrêt. Les tests de sécurité automobile évaluent les réponses aux défaillances des capteurs et aux conditions météorologiques défavorables. L’évaluation des risques nucléaires modélise des milliers de modes de défaillance et quantifie leurs probabilités. L’aviation vise une erreur catastrophique par milliard d’heures de vol.

Les gains de capacité sont rapides, mais les améliorations en matière de fiabilité sont modestes

Nous avons affiné et décomposé ces quatre dimensions de haut niveau en douze indicateurs. Nous avons ensuite testé des agents sur la base de 14 modèles provenant d’OpenAI, de Google et d’Anthropic, couvrant 18 mois de publications. Nous avons examiné deux benchmarks complémentaires : un benchmark d’assistant général (GAIA) et un benchmark de simulation de service client (TauBench). Nous avons exécuté chaque tâche cinq fois, avec des instructions paraphrasées. Nous avons introduit des défauts dans les outils et l’environnement afin de mesurer la robustesse face à de telles défaillances, et nous avons évalué la confiance des agents dans la résolution de la tâche afin de mesurer l’étalonnage. Au total, nous avons exécuté 500 benchmarks.

Nous avons constaté que la fiabilité n’avait que modestement progressé en 18 mois, tandis que la précision s’était considérablement améliorée. Les trois principaux fournisseurs se regroupent, ce qui semble indiquer une limitation à l’échelle du secteur (même si, dans certains cas, les modèles d’Anthropic surpassent ceux d’OpenAI et de Google).

Plus précisément, nous avons mesuré les critères suivants :

Cohérence : les agents capables de résoudre une tâche échouent souvent lors de tentatives répétées dans des conditions identiques. De nombreux modèles ont du mal à donner une réponse cohérente, avec des scores de cohérence des résultats allant de 30 % à 75 % dans l’ensemble.
Robustesse : la plupart des modèles gèrent avec élégance les véritables défaillances techniques (plantage de serveur, délais d’attente API). Mais si nous reformulons les instructions avec la même signification sémantique, les performances chutent considérablement.
Prévisibilité : les agents ne savent pas bien reconnaître leurs erreurs. C’est la dimension la plus faible dans l’ensemble. Lorsque les agents font état de leur confiance, cela n’a souvent que peu de signification. Sur un benchmark, la plupart des modèles n’ont pas su distinguer leurs prédictions correctes des prédictions incorrectes mieux que le hasard.
Sécurité : les modèles récents sont nettement plus performants pour éviter les violations de contraintes, même si les erreurs financières, telles que les frais incorrects, restent un mode de défaillance courant. Nous utilisons le terme « sécurité » au sens strict pour désigner les dommages limités en cas de défaillance, et non pour désigner des préoccupations plus larges telles que l’alignement. Nous continuons à améliorer notre méthode de mesure de la sécurité, c’est pourquoi nous la présentons séparément du score de fiabilité global.
Impact de la mise à l’échelle : les modèles plus grands ne sont pas systématiquement plus fiables. La mise à l’échelle améliore certaines dimensions (calibrage, robustesse), mais peut nuire à la cohérence. Les modèles plus grands, avec des répertoires comportementaux plus riches, présentent parfois une plus grande variabilité d’une exécution à l’autre.

Pourquoi nous pourrions nous tromper

Nous pensons que la fiabilité est en retard par rapport à la capacité et qu’elle restera un obstacle au déploiement tant que les chercheurs et les développeurs ne concentreront pas leurs efforts sur l’amélioration de la fiabilité en tant que dimension distincte de la précision. Il y a trois raisons pour lesquelles nous pourrions nous tromper.

Premièrement, nos dimensions et nos mesures comportent une certaine subjectivité. Nous avons essayé de minimiser cela en fondant notre analyse sur les domaines d’ingénierie existants. Et nous avons finalisé notre liste de mesures avant de réaliser nos expériences, afin d’éviter que notre hypothèse sur la lenteur des progrès en matière de fiabilité n’influence notre sélection de mesures. Néanmoins, nous invitons d’autres chercheurs à proposer d’autres moyens de mesurer la fiabilité, et soulignons que nos conclusions sont provisoires à ce stade.

Deuxièmement, la fiabilité n’aura peut-être pas d’importance si la précision est suffisamment élevée. Nos mesures sont soigneusement élaborées afin que les gains de précision ne se traduisent pas automatiquement par des gains de fiabilité. D’une manière générale, la précision concerne le taux d’échecs, tandis que la fiabilité concerne la nature des échecs. Mais si un agent est précis à 99 %, nous pouvons peut-être tolérer 1 % d’erreur, même si celle-ci est totalement imprévisible. Nous ne sommes pas d’accord. Nous estimons que pour un fonctionnement autonome dans des contextes à haut risque, nous avons besoin d’une performance de 3 à 5 « neuf » (une précision de 99,9 % à 99,999 %) afin que la fiabilité ne soit plus un problème, et nous ne pensons pas que les agents basés sur le LLM soient en passe d’atteindre un tel seuil. Mais seul le temps nous le dira.

Troisièmement, le fait que les progrès en matière de fiabilité soient plus lents que ceux en matière de précision ne signifie pas nécessairement qu’ils soient lents en termes absolus. Si nous extrapolons la tendance linéaire actuelle, les agents atteindront une fiabilité de 100 % en seulement trois ans ! Nous ne pensons pas qu’un modèle linéaire soit pertinent, en partie parce que nous nous attendons à ce que chaque diminution d’un ordre de grandeur de la non-fiabilité (1-fiabilité) soit aussi difficile que la précédente. Autrement dit, nous pensons que le passage d’une fiabilité de 90 % à 99 % sera aussi difficile que le passage d’une fiabilité de 99 % à 99,9 %, et ainsi de suite. Mais là encore, il faut attendre pour voir.

Supposons que nous ayons raison. Cela a des implications importantes pour les déployeurs, les chercheurs et les développeurs, ainsi que pour ceux qui suivent le rythme des progrès de l’IA. Examinons chacune d’entre elles tour à tour.

Que devraient faire différemment les déployeurs ?

Distinguer clairement l’automatisation de l’augmentation. Un assistant de codage qui suggère parfois des noms de variables erronés est agaçant ; un agent autonome gérant une usine industrielle produisant des résultats très variables est inacceptable. La différence réside dans le fait que l’agent est utilisé pour augmenter la créativité humaine ou pour prendre directement des décisions. Les outils d’augmentation (copilotes, assistants de recherche) bénéficient d’une « remise » sur la fiabilité, car quelqu’un vérifie le résultat. Dans certains cas d’utilisation de l’augmentation, la fiabilité peut en fait être indésirable. Par exemple, un assistant de rédaction créatif qui produirait toujours la même histoire serait très mauvais dans son travail.

Soit dit en passant, la qualité de la collaboration entre les agents et les humains est malheureusement sous-théorisée et sous-évaluée. Il existe quelques travaux préliminaires sur l’évaluation de l’interaction entre les humains et les modèles de langage (evaluatinghuman-LM), mais ces deux initiatives sont antérieures aux agents autonomes, et nous n’avons connaissance d’aucun travail équivalent étudiant la manière dont les agents collaborent avec les humains dans le cadre de tâches en plusieurs étapes. Les études Uplift offrent une perspective utile, mais un effort plus large axé sur les agents s’impose depuis longtemps.

Tenir compte de la fiabilité pour prendre des décisions de mise en production. Pour les outils d’automatisation (workflows sans surveillance, bots en contact avec la clientèle), la fiabilité est non négociable. Les déployeurs devraient envisager d’exiger des seuils de fiabilité avant de passer du bac à sable à la production, de la même manière que l’aviation exige une certification avant la mise en service. Il existe de nombreuses autres pratiques à emprunter à ces domaines, telles que la mise en place d’une culture de signalement des incidents autour des défaillances des agents.

Si les indicateurs que nous avons identifiés sont globalement utiles comme point de départ pour comprendre la fiabilité, les déployeurs doivent élaborer leurs propres évaluations internes adaptées à leur contexte et à leurs ensembles de données spécifiques.

Que devraient faire différemment les chercheurs et les développeurs ?

Les benchmarks stimulent les progrès en matière d’IA. Il y a un an et demi, notre article AI Agents that Matter montrait qu’il existait un écart important entre ce que mesuraient les benchmarks des agents et ce qui importait dans la pratique. Notre nouvel article montre que cet écart persiste. Pour remédier à cette déconnexion, les pratiques d’évaluation et de développement de l’IA doivent changer de cap.

Mesurer la fiabilité. L’approche actuelle consistant à exécuter une fois un benchmark et à rapporter le chiffre de précision est une mesure de performance superficielle et peu approfondie. Elle est comparable à un test de résistance effectué une seule fois sur une voiture par temps idéal et à la déclaration de sécurité de celle-ci si elle réussit le test. Lors de l’évaluation des agents, nous devons les tester à plusieurs reprises (pour vérifier la variance des résultats), dans différentes conditions (pour évaluer leur adaptabilité) et de manière continue (en les testant à nouveau à mesure que les modèles et les environnements changent). Nous recommandons de communiquer les profils de fiabilité en plus de la précision, et non à la place.

Comprendre et améliorer la fiabilité. Nos expériences suggèrent que la cohérence et la prévisibilité sont les principaux écarts qui empêchent les modèles d’être plus fiables. Les développeurs d’agents devraient envisager d’améliorer explicitement ces points faibles, éventuellement par une optimisation ciblée ou une amélioration de la structure. En particulier, les agents devraient être capables de reconnaître quand ils sont susceptibles d’échouer et de le signaler, et de se rétablir avec élégance lorsqu’ils échouent. Parmi les idées plus spéculatives, on peut citer les agents qui explorent différentes stratégies pendant leur développement mais suivent un plan d’exécution cohérent lorsqu’ils sont déployés, plutôt que de résoudre la même tâche différemment à chaque fois, offrant ainsi simultanément le meilleur des agents et des flux de travail.

Que signifient nos conclusions pour les progrès de l’IA ?

L’écart entre capacité et fiabilité pourrait être l’une des raisons pour lesquelles nous ne constatons aucun des effets rapides sur le marché du travail que l’intelligence artificielle générale était censée produire. Ce n’est pas la seule raison. Un récent rapport de l’AISI britannique a identifié six obstacles à l’AGI. Cependant, le rapport les a abordés de manière très générale.

Notre article peut être considéré comme une illustration concrète de l’un de ces obstacles : la fiabilité. Aucune des quatre dimensions que nous identifions ne peut être considérée comme résolue à l’heure actuelle, et seules deux des mesures individuelles, indiquées en vert dans la figure, peuvent être considérées comme (provisoirement) résolues.

Les travaux futurs sur les autres obstacles à l’AGI pourraient révéler de nombreuses autres dimensions de performance qui doivent être améliorées avant que les agents IA puissent être largement déployés.

Il reste beaucoup à faire pour préciser les autres obstacles à l’AGI, à l’instar de notre analyse de la fiabilité. Nous pensons que cela révélera de nombreuses autres dimensions et mesures sur lesquelles les progrès ont été lents. La question à un milliard de dollars est de savoir si les agents s’amélioreront globalement grâce à des méthodes générales telles que la mise à l’échelle de l’inférence et l’apprentissage par renforcement, ou si un travail minutieux sera nécessaire pour améliorer les dimensions individuelles de la fiabilité, de l’adaptabilité, de l’originalité, etc.

Abonnez-vous pour recevoir une analyse fondée sur des preuves des développements de l’IA et de l’avenir de l’IA.

Lectures complémentaires

Le document complet de 66 pages est disponible sur arXiv et comprend les définitions des mesures que nous proposons, des détails sur notre configuration expérimentale, ainsi qu’une discussion approfondie sur nos recommandations et les travaux futurs proposés. Les auteurs sont Stephan Rabanser, Sayash Kapoor, Peter Kirgis, Kangheng Liu, Saiteja Utpala et Arvind Narayanan. En plus de l’article, nous fournissons également un tableau de bord interactif de nos résultats afin de permettre aux praticiens d’approfondir leurs connaissances sur les modèles individuels, les benchmarks et les dimensions de fiabilité. Le code permettant de reproduire nos expériences est disponible sur GitHub.
Cet article s’inscrit dans le cadre de nos efforts plus larges visant à faire progresser la science de l’évaluation des agents IA. Parmi les publications clés, citons AI Agents that Matter et Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation, récemment accepté à l’ICLR 2026.
Notre article peut être considéré comme s’appuyant sur des travaux visant à élargir la portée de ce que nous mesurons à travers les benchmarks. Par exemple, HELM a introduit 7 métriques, dont l’étalonnage et la robustesse, et les a utilisées pour évaluer des dizaines de modèles linguistiques sur des benchmarks de premier plan.

Les traductions de 2026 (.xlsx) – celles de 2025 – par Gilles en vrac
Les caractères gras dans le texte sont de Gilles
Pour vous recevoir un courriel hebdomadaire vers mes traductions.

Notes

1
Bien sûr, ce n’est pas le seul facteur. Les benchmarks continuent de se heurter à la contamination des données, ce qui peut les amener à surestimer les progrès en matière de capacités. AI as Normal Technology fournit un cadre utile pour comprendre les obstacles entre les progrès en matière de capacités et les impacts économiques. La fiabilité relève de la phase des produits/applications. Les facteurs humains, sociaux et organisationnels se situent en aval. Pour une étude de cas sur la gravité de ces facteurs, consultez notre récent essai AI Won’t Automatically Make Legal Services Cheaper. ↩︎