Solution · AI Operations
Évaluer la qualité de vos agents IA : la fonction qui les mesure, les surveille et les corrige en production — avant que le client ne subisse l'erreur
Un agent qui a passé la démo n'est pas un agent qui marche en production : il se dégrade tout seul quand le modèle, le prompt ou le monde changent, et personne ne s'en aperçoit avant qu'un client se plaigne. Évaluer sa qualité, ce n'est pas un test qu'on fait une fois ; c'est une fonction qui tourne — échantillonner, noter contre un critère, détecter les régressions et corriger — pour que la qualité cesse d'être une impression et devienne un chiffre que vous surveillez.
Le problème
La qualité d'un agent ne se mesure pas quand il réussit la démo. Elle se mesure quand il hésite en production — et aujourd'hui personne ne regarde.
- L'agent a passé la démo et a été validé ; depuis, personne ne sait s'il répond encore bien, parce qu'il n'y a aucun moyen de le mesurer sauf attendre qu'on se plaigne.
- Vous avez changé le modèle, ajusté un prompt ou le fournisseur a mis à jour tout seul, et le comportement a changé sans que personne ne le compare à avant : la régression se découvre chez un client, pas dans un test.
- Le seul signal de qualité, ce sont les plaintes, qui arrivent tard et seulement de la pointe de l'iceberg ; les erreurs silencieuses — la réponse plausible mais fausse — personne ne les voit.
- Quand il faut décider si un changement part, aucun chiffre ne l'appuie : on le déploie à l'instinct et on prie, parce qu'il n'existe pas de critère contre lequel noter avant de lâcher.
Le coût de ne rien changer
Un agent sans évals n'est pas un système, c'est un pari qui se dégrade tout seul. Le coût n'est pas que l'erreur ponctuelle : c'est ne pas savoir si votre agent est meilleur ou pire que la semaine dernière, et donc ne pas pouvoir l'améliorer ni défendre qu'il marche. Quand la seule métrique est la plainte, chaque régression est payée par un client avant un tableau de bord, la confiance dans l'agent chute et la réaction par défaut est la pire — l'éteindre ou le laisser languir sous surveillance manuelle, ce qui revient à jeter l'investissement. Et comme le modèle, le prompt et le monde changent toutes les quelques semaines, une qualité validée il y a trois mois ne dit rien de celle d'aujourd'hui.
La solution
On monte et on opère la fonction d'évaluation de vos agents — évals continues : échantillonner, noter, détecter les régressions, gate et corriger — pour que la qualité cesse d'être une impression et devienne un chiffre que vous surveillez et défendez
- 1On définit le critère : ce qu'est une bonne réponse pour votre cas — exactitude, ton, sécurité, format, politiques — traduit en une grille et un jeu de cas de test avec les bonnes réponses, les vôtres, pas génériques.
- 2On échantillonne et on note en continu : on prend de vraies conversations de production, on les évalue contre la grille — avec des juges automatiques et une revue humaine là où ça compte — et on transforme la qualité en une métrique suivie dans le temps, pas une anecdote.
- 3On détecte régressions et dérive : chaque changement de modèle, de prompt ou d'outil est noté contre le critère AVANT d'être déployé (gate), et en production des alertes se déclenchent quand la qualité baisse, même si personne ne s'est encore plaint.
- 4On boucle la boucle : chaque défaut détecté alimente des actions correctives — ajustement de prompt, nouvel exemple, garde-fou — et retourne dans le jeu de cas, ainsi l'agent s'améliore au lieu de se dégrader. Tout est mesuré : taux de réussite par grille, régressions attrapées avant la production, dérive détectée et délai de correction.
Ce qui change
Ce que tu arrêtes de perdre
La qualité cesse d'être une impression : elle devient une métrique suivie dans le temps, ainsi on sait si l'agent est meilleur ou pire que la semaine dernière avant qu'un client ne le dise.
Mécanisme
Les régressions sont attrapées avant la production : un changement de modèle ou de prompt est noté contre le critère et ne part que s'il n'empire pas, au lieu de découvrir le défaut chez un client.
Mécanisme
L'erreur silencieuse cesse de se cacher : l'échantillonnage continu fait remonter la réponse plausible mais fausse que les plaintes ne captent pas, parce que presque personne ne réclame — on part, c'est tout.
Mécanisme
Ce qu'on mesure : taux de réussite par grille, régressions attrapées avant la production, dérive détectée en continu et délai entre le défaut et la correction.
Ce qu'on mesure
Fiche technique
- Travail supprimé
- que la qualité de vos agents IA en production ne soit mesurée par personne et ne se découvre que quand un client se plaint, sans critère, sans échantillonnage et sans gate avant de déployer un changement
- Mise en place habituelle
- 2 à 4 semaines
- Entrée
- les vraies conversations de vos agents en production, les changements de modèle, de prompt et d'outils déployés, et les plaintes qui arrivent tard et seulement de la pointe de l'iceberg
- Sortie
- la qualité de chaque agent notée en continu contre votre propre grille, avec des régressions attrapées avant la production, une dérive détectée avec alerte et une boucle de correction qui retourne au jeu de cas
- Compatible avec
- OpenAIAnthropicAzure OpenAIAmazon BedrockGoogle Vertex AI
- Peut se connecter à
- Vos agents et leurs enregistrements de productionVos frameworks d'évals (LangSmith, Promptfoo, Braintrust)Votre tableau de bord qualité et votre gate de déploiement
- Ce qu’on mesure
- taux de réussite par grillerégressions attrapées avant la productiondérive détectée en continudélai entre le défaut et la correction
- Adapté pour
- entreprises avec un ou plusieurs agents IA en production dont personne ne mesure la qualité de façon systématique aujourd'hui et qui doivent la gouverner — la mesurer, la surveiller et la défendre — avant de passer à l'échelle
- Pas adapté pour
- ceux encore en prototype sans trafic réel à échantillonner, ou ceux qui cherchent un audit ponctuel unique au lieu d'une fonction qualité qui tourne en continu
Questions fréquentes
Le tester une fois, c'est la photo du jour du lancement ; ceci, c'est le film. Un agent en production se dégrade tout seul quand le modèle change, qu'un prompt est ajusté ou que le monde bouge, donc un test de lancement ne dit rien de la qualité dans trois semaines. Ce qu'on monte tourne en continu : ça échantillonne de vraies conversations, ça les note contre votre critère et ça alerte quand la qualité baisse. Le test initial est un point ; la fonction est la ligne.
Vous, et on le met par écrit avant de mesurer quoi que ce soit. La grille — exactitude, ton, sécurité, format, vos politiques — et le jeu de cas avec les bonnes réponses viennent de votre métier, pas d'un modèle. On apporte la méthode — des juges automatiques pour le volume, une revue humaine là où ça compte — et la discipline pour que le critère ne soit pas inventé par chacun. Sans un critère à vous, « qualité » est une opinion ; avec, c'est un chiffre.
Ni aveuglément ni pas du tout : on les utilise pour ce qu'ils font bien — passer beaucoup de volume contre des critères clairs — et on les calibre contre une revue humaine sur un échantillon, pour savoir à quel point ils ont raison. Le délicat ou l'ambigu va toujours à une personne. Le but n'est pas de remplacer le jugement humain par une IA juge, c'est de le mettre à l'échelle : un échantillon revu par des gens fixe la barre et le juge automatique l'applique au reste, sous surveillance.
Avec ceux que vous avez déjà. On travaille par-dessus vos agents et leurs logs de production et sur des frameworks d'évals standards — LangSmith, Promptfoo, Braintrust et similaires — quel que soit votre fournisseur de modèles. On ne vous demande pas de refaire l'agent ni de changer d'outil : on monte la fonction d'évaluation par-dessus ce qui tourne déjà en production.
On le monte chez toi ?
Tu as ciblé le problème. On livre la solution et on la laisse mesurée.