Qui contrôle le contrôleur : l'agent superviseur IA qui audite ton agent

La thèse en une phrase : au-delà d'un certain volume, tout relire à la main cesse d'être une relecture et devient un tampon. Si tu veux continuer à regarder ce que fait ton agent, la deuxième ligne doit être automatique — et ce doit être un autre agent, pas le même à qui on pose une autre question.

Ton processus de relecture a été conçu quand l'agent faisait douze choses par jour. Une personne lisait les douze, en corrigeait deux et apprenait quelque chose au passage. Ça marchait. Huit mois plus tard l'agent en fait quatre cents et la personne est toujours la même, avec le même agenda et les mêmes réunions. Personne n'a changé la procédure : on continue de tout marquer « relu ». Ce qui a changé, c'est le sens de ce mot.

Il n'y a pas de mauvaise foi là-dedans, il y a de l'arithmétique. Quatre cents sorties à deux minutes de lecture honnête, ça fait plus de treize heures. Personne n'a treize heures, donc il se passe ce qui se passe toujours : on lit la première ligne, on vérifie que le format tient, on approuve. Le contrôle existe encore sur l'organigramme et a cessé d'exister dans la réalité.

Qu'est-ce qu'un agent superviseur IA et que vérifie-t-il exactement ?

Un agent superviseur IA est un deuxième agent dont le seul travail est de regarder ce que le premier a produit avant que l'action ne parte, de le confronter à une politique écrite et de rendre un verdict : passe, bloqué, ou escaladé vers une personne. Il ne génère pas. Il ne réécrit pas. Il ne donne pas son avis sur ce qui pourrait être mieux tourné. Il tranche une seule chose : est-ce que ça peut sortir.

Ce qu'il vérifie est délibérément ennuyeux, et c'est précisément pour ça que ça marche. Quatre questions fermées, à réponse vérifiable :

• Que ce qu'il affirme existe. Chaque chiffre, nom, date ou référence de la sortie doit pouvoir être pointé dans une source réellement consultée. Si un nombre apparaît sans être dans aucun document récupéré, ce n'est pas un nombre : c'est une invention déguisée en nombre.
• Que l'action soit dans le périmètre autorisé. Quel outil il a appelé, sur quel enregistrement, pour quel montant, au nom de qui. La politique dit ce qu'il peut toucher ; le superviseur vérifie que ce qu'il s'apprête à toucher est bien sur cette liste et pas sur une autre.
• Que le cas ressemble à ce que la politique avait prévu. Langue, type de client, juridiction, taille de l'opération. Un cas hors du prévu n'est pas forcément mauvais : il n'est pas couvert, ce qui est autre chose et se traite autrement.
• Qu'aucune étape obligatoire n'ait sauté. Si la procédure dit qu'avant de répondre à une réclamation on consulte l'historique, le superviseur vérifie qu'il l'a consulté. C'est la plus bête des quatre et celle qui saute le plus souvent.

Regarde ce qui n'est PAS sur cette liste : « que la réponse soit bonne ». La qualité moyenne d'un système se mesure avec des évaluations sur des cas enregistrés, avant la mise en production, et c'est une autre discipline qu'on développe dans les évaluations qui disent si ton IA fonctionne vraiment. Un superviseur ne mesure pas des moyennes. Il regarde ce cas-ci, maintenant, et décide s'il sort.

Pourquoi l'agent ne peut-il pas simplement se relire lui-même ?

Parce que le biais est mesuré et qu'il a un nom. Dans Self-Preference Bias in LLM-as-a-Judge (Wataoka, Takahashi et Ri), les auteurs proposent une métrique pour le quantifier et constatent que GPT-4 note significativement mieux ses propres sorties ; leur hypothèse est que les modèles favorisent ce qui leur est familier, mesuré comme une perplexité plus faible. Source : Self-Preference Bias in LLM-as-a-Judge, arXiv, 29 octobre 2024 (révisé en juin 2025). C'est un résultat technique, pas une donnée de marché : il vaut autant à Lyon qu'à Madrid.

Traduit dans ton processus : demander à un agent de s'auditer, c'est lui demander de douter de la phrase qui lui paraissait la plus naturelle du monde il y a deux secondes. Il le fera, dans une certaine proportion des cas, avec beaucoup d'aplomb et très peu d'utilité.

Le problème du modèle partagé est le plus cité, mais ce n'est pas le pire. Le pire, c'est le contexte partagé. Si l'erreur naît d'un document mal récupéré, un relecteur qui lit exactement ce même document mal récupéré va confirmer l'erreur avec enthousiasme et la marquer vérifiée. L'indépendance n'est pas ici un principe moral : c'est la condition mathématique pour que le deuxième regard apporte une information que le premier n'avait pas.

En parallèle, ou entre l'agent et le système de destination ?

C'est la décision d'architecture dont on débat le plus et qu'on argumente le plus mal, parce qu'on la pose comme une question technique alors que c'est une question sur l'erreur qu'on peut se permettre. Il n'y a que deux positions.

Notre règle est courte : le superviseur se met au milieu uniquement là où l'action est irréversible ou sort de l'entreprise. Partout ailleurs il se met à côté. Et on commence en parallèle même si on compte finir au milieu, parce que les deux premières semaines son travail n'est pas de bloquer : c'est de te montrer combien de fois il aurait bloqué et pour quels motifs. Le mettre portier dès le premier jour, c'est installer un frein avec un taux de faux positifs inconnu.

Ce n'est pas une décision de technologie, c'est une décision d'autonomie, et elle est collée à celle que tu as déjà prise en fixant les niveaux d'autonomie d'un agent : plus la première ligne court librement, plus il est justifié de mettre la seconde sur son chemin.

Passer, bloquer ou escalader : il n'y a pas de quatrième sortie

Un superviseur avec plus de trois verdicts est un superviseur qui a des opinions. Les trois, et ce que chacun oblige à construire :

1. Passe. L'action sort et il reste trace qu'elle est passée par le superviseur, contre quelle version de politique et avec quel résultat. Un « passe » sans trace ne sert à rien : dans six mois, la distance entre « ça a été relu » et « on peut prouver que ça a été relu » est toute la distance. Ce registre, c'est exactement la traçabilité des décisions d'IA.
2. Bloque. L'action ne sort pas. Elle revient au premier agent avec le motif précis — quelle vérification a échoué et sur quelle donnée — et on retente une fois. Si ça échoue encore, ça monte. Un blocage silencieux que personne ne compte est une fuite : le travail s'arrête, le client attend, et personne ne le sait avant son appel.
3. Escalade. Ça part à une personne avec le dossier déjà monté : ce que l'agent proposait, quelle vérification a échoué, ce que dit la politique et ce qu'il propose de faire. Escalader n'est pas transférer. C'est arriver avec le travail fait pour que décider coûte une minute et pas vingt.

La métrique qui compte pour un superviseur n'est pas combien d'actions il a bloquées : c'est combien il en a escaladées et en combien de temps elles ont été traitées. S'il escalade 40 %, tu n'as pas mis une deuxième ligne, tu as déplacé le goulot d'étranglement. S'il escalade 0,5 %, soit ton système est impeccable, soit ta politique est si lâche qu'elle ne vérifie rien. La plage saine ressemble beaucoup plus au premier chiffre qu'au second, et on l'affine en lisant les escalades une par une les premières semaines.

La politique à laquelle il compare ne tombe pas du ciel : c'est celle que tu as déjà écrite en définissant les instructions d'un agent IA, à une condition non négociable — écrite à part, versionnée à part. Si le superviseur hérite du même document, il hérite aussi de ses angles morts, et un angle mort hérité ne se détecte jamais.

Les trois cas où il faut encore une personne

Un superviseur automatique ne supprime pas l'humain : il lui change son régime. Au lieu de survoler quatre cents éléments, il en lit vingt à fond. Et il y a trois situations où ces vingt-là ne se négocient pas.

1. Le montant dépasse un seuil. Pas parce que l'agent se tromperait davantage à 40 000 € qu'à 400, mais parce que le coût de l'erreur n'est plus absorbé par le processus : il est absorbé par le compte de résultat. Le seuil est une décision de gestion, il s'écrit en euros et se révise chaque trimestre. Où placer cette personne sans qu'elle devienne le frein de tout le reste, c'est la conception de l'humain dans la boucle d'une automatisation.
2. La responsabilité est juridiquement indélégable. Ici il n'y a pas de marge de conception, parce que la norme nomme des personnes. Le règlement européen sur l'IA, à son article 14, exige pour les systèmes d'identification biométrique du point 1(a) de l'annexe III qu'aucune décision ne soit prise sans que l'identification ait été vérifiée et confirmée séparément par au moins deux personnes physiques disposant de la compétence, de la formation et de l'autorité nécessaires. Source : Article 14 — Contrôle humain, règlement (UE) 2024/1689. En Espagne, l'AEPD ajoute le principe des quatre yeux — double vérification par deux personnes différentes — pour les traitements automatiques à fort impact sur les droits, dans ses orientations sur l'IA agentique (version 1.2, février 2026). Deux personnes physiques, ce sont deux personnes physiques : aucun superviseur, aussi bon soit-il, n'en vaut une.
3. Le cas ne ressemble à rien de prévu. C'est le plus inconfortable, parce qu'on ne peut pas l'écrire à l'avance dans une règle. Un superviseur ne sait vérifier que contre ce que la politique a envisagé ; face à quelque chose de réellement nouveau, la seule chose correcte à faire est de reconnaître que ce n'est pas couvert et de le transmettre. Cette capacité à dire « ce n'est pas à moi de trancher » est la même que doit avoir la première ligne, et elle est développée dans ce que fait un agent IA quand il ne sait pas. La différence, c'est qu'un superviseur doit se tromper vers le haut : dans le doute, il escalade.

Et là où il faut la personne, il faut la fonction, pas la faveur : quelqu'un avec un critère écrit, une file, un délai de réponse engagé et une mesure de sa propre justesse. C'est la supervision humaine de l'IA à l'échelle, et elle ne concurrence pas le superviseur automatique — elle le rend utilisable. La machine filtre les 95 % ennuyeux pour que le jugement humain tombe entier sur les 5 % qui le méritent.

Ce qui a été arrêté, ce que ça valait, quelle preuve il reste

C'est là que la conversation déraille presque toujours, parce que le superviseur est présenté comme un sujet de sécurité et meurt au comité sécurité. C'est un sujet de gestion. Deux chiffres pour dimensionner, les deux de Gartner et les deux de portée mondiale — ce ne sont pas des données françaises : plus de 40 % des projets d'IA agentique seront annulés avant fin 2027 pour cause de coûts croissants, de valeur métier floue ou de contrôles du risque inadéquats (Gartner, 25 juin 2025) ; et les technologies d'agents gardiens représenteront au moins 10 % à 15 % du marché de l'IA agentique en 2030 (Gartner, 11 juin 2025).

Lis-les ensemble et la comédie apparaît : le secteur tue des projets par manque de contrôle et monte en même temps une catégorie entière pour te vendre ce contrôle en produit. Ce qu'aucun des deux chiffres ne te dit, c'est combien ça s'arrête chez toi. Gartner n'a pas ce nombre. Toi si, dans ton propre historique, et c'est le seul sur lequel décider.

C'est pour ça que le tableau de bord d'un superviseur n'est pas technique. Ce sont cinq chiffres de gestion : combien d'actions arrêtées cette semaine, de quel type, ce qu'elles valaient, combien se sont révélées être de fausses alertes, et combien de temps a pris chaque escalade. Avec ces cinq-là on peut avoir la vraie conversation sur plus ou moins d'autonomie. Sans eux, on ne peut discuter qu'au feeling, et dans cette discussion c'est toujours la voix la plus forte qui gagne.

Un avertissement sur ce que ce n'est pas : ce n'est pas de la sécurité. Un superviseur vérifie contre une politique métier ; il ne te défend pas contre quelqu'un qui cherche délibérément à tromper le système. C'est un autre problème, avec d'autres outils, une autre équipe et un autre budget, et on le traite à part dans les risques des agents IA qu'on ne voit pas dans la démo. Confondre les deux est la façon la plus chère de finir sans aucune des deux.

Ce que je ferais lundi

Une question et une expérience. La question, avec des chiffres et sans décor : combien de sorties ton agent produit-il par jour, et combien une personne en lit-elle vraiment, en entier ? Si en multipliant ce second chiffre par deux minutes tu dépasses le temps libre de cette personne, tu sais déjà que ta relecture est un tampon et tu peux arrêter de lire ici.

L'expérience tient en deux semaines et ne touche jamais la production. Prends les cinq cents dernières sorties de ton agent, telles qu'elles sont stockées. Mets un deuxième agent — autre modèle, autre prompt, récupérant les sources par lui-même — à vérifier trois choses seulement : que les chiffres existent dans la source, que l'action était autorisée, et qu'aucune étape obligatoire n'a sauté. Compte combien il aurait bloquées et va les lire une par une. Si deux ou trois d'entre elles n'auraient jamais dû sortir, ton dossier métier est déjà écrit, et ce n'est pas toi qui l'as écrit : c'est ton propre historique.

La question du titre a une réponse peu héroïque. Le contrôleur, c'est toi qui le contrôles, oui — une fois par semaine, sur un échantillon. Le reste du temps il est contrôlé par une autre machine, avec une autre tête et d'autres sources, contre une politique que tu as écrite un jour où tu étais tranquille. Ce n'est pas élégant. C'est la seule chose qui tient quand le volume est multiplié par quarante et pas les effectifs.