Solution · AI Operations

Ton IA décide tous les jours. Dans six mois, sauras-tu expliquer une décision précise ?

Un log n’est pas une traçabilité. Avoir des enregistrements éparpillés entre le modèle, l’outil et le système de destination ne permet pas de reconstituer pourquoi cette demande a été refusée, ce prix appliqué ou ce dossier clôturé tout seul. La traçabilité des décisions, c’est la fonction qui relie chaque décision à son entrée, ses versions, ses données, sa politique et son approbateur —et qui la garde récupérable quand quelqu’un demande. On la monte et on l’exploite.

On le monte chez moi Voir comment ça marche

Le problème

Tu as des logs. Ce que tu n’as pas, c’est la capacité de reconstituer une décision précise de bout en bout.

L’information d’une même décision vit dans quatre endroits —l’appel au modèle, le moteur de récupération, l’outil qui a exécuté et le système d’arrivée— et aucun ne partage d’identifiant : la reconstituer, c’est des heures de travail manuel.
Tu ne sais pas avec quelle version ça a été décidé : le prompt, le modèle, la politique métier et le jeu de données ont changé depuis, et personne n’a gardé lequel était en vigueur à ce moment-là.
L’enregistrement garde la sortie mais pas le pourquoi : quels documents ont été récupérés, quels outils appelés, ce qu’ils ont renvoyé et quelle règle a été appliquée pour décider ainsi et pas autrement.
La supervision humaine ne laisse aucune trace exploitable : quelqu’un a approuvé, mais rien n’indique ce qu’il a vu à l’écran, ce qui a changé par rapport à la proposition, ni sur quelle base il a tranché.
La rétention n’est pas tranchée : soit on garde tout pour toujours —données personnelles incluses—, soit ça tourne à trente jours, et quand la réclamation arrive il n’y a plus rien à montrer.

Le coût de ne rien changer

La traçabilité n’est pas de la paperasse optionnelle : pour les systèmes à haut risque, le règlement européen sur l’IA impose un enregistrement automatique des événements tout au long du cycle de vie (art. 12) et une conservation d’au moins six mois, pour le fournisseur (art. 19) comme pour le déployeur (art. 26.6). Mais le régulateur est celui qui arrive en dernier. Avant lui arrivent le client qui conteste la décision, le commercial qui ne comprend pas pourquoi son dossier a été refusé, et l’équipe qui veut améliorer le système et ne peut pas, parce que sans trace il n’y a pas de diagnostic : impossible de distinguer une défaillance du modèle d’une mauvaise donnée, ou une politique mal écrite d’une exception légitime. Sans trace, la seule réponse possible est « c’est l’IA qui a décidé », et cette phrase ne tient devant personne — ni un auditeur, ni un client, ni ton propre comité.

La solution

On monte la traçabilité de décision de bout en bout —identifiant, versions, contexte, politique et supervision— et on l’exploite comme fonction continue

1On commence par définir ce qu’est une « décision » chez toi, l’étape que presque personne ne franchit : tout ce que fait un agent ne mérite pas un dossier. On marque les décisions à conséquence —celles qui touchent une personne, un encaissement, un contrat ou un engagement— et ce sont elles qu’on trace en détail ; le reste est échantillonné.
2On attribue un identifiant unique à chaque dossier et on le fait traverser tout : l’appel au modèle, la récupération d’information, chaque outil appelé et l’enregistrement final dans ton ERP, CRM ou ticketing. Sans ce fil, reconstituer une décision restera de l’archéologie entre quatre systèmes.
3On fige le contexte de la décision : version du modèle, du prompt et de la politique métier en vigueur, documents ou enregistrements récupérés, paramètres utilisés, outils appelés et ce qu’ils ont renvoyé. La trace ne garde pas seulement ce qui est sorti, mais ce sur quoi ça a été décidé.
4On fait en sorte que la supervision humaine laisse une vraie trace : ce qu’on a montré au relecteur, ce que le système a proposé, ce que la personne a changé et pourquoi. C’est la différence entre « il y a une supervision » et pouvoir le démontrer, et ça se relie à la supervision humaine de l’IA à grande échelle.
5On fixe rétention et accès avec discernement : combien de temps on garde chaque type de trace, ce qu’on masque ou remplace par un identifiant pour ne pas accumuler de données personnelles sans base légale, qui peut la consulter et avec quel journal d’accès. Tout garder pour toujours, ce n’est pas se conformer : c’est un autre risque.
6On le laisse consultable et mesuré. Un dossier de décision qui s’ouvre par identifiant et se lit en quelques minutes, pas un déversement de logs ; plus un tableau de couverture —quelle part des décisions à conséquence a une trace complète— et des exercices réguliers : on tire une décision au hasard et on la reconstitue, pour trouver les trous avant qu’un autre ne les trouve.

Ce qui change

Ce que tu arrêtes de perdre

La décision contestée cesse d’être de l’archéologie entre quatre systèmes : elle s’ouvre par identifiant, avec son entrée, son contexte, ses versions et son approbateur dans un seul dossier.
Mécanisme
Pour les systèmes à haut risque, le règlement européen sur l’IA impose l’enregistrement automatique des événements (art. 12) et une conservation minimale de six mois (art. 19 pour le fournisseur, art. 26.6 pour le déployeur). La trace cesse d’être un projet en attente et devient une obligation couverte par des preuves.
Règlement (UE) 2024/1689 (AI Act), art. 12, 19 et 26.6 — périmètre : Union européenne
L’amélioration du système cesse d’être aveugle : avec la trace, on distingue une défaillance du modèle d’une mauvaise donnée ou d’une politique mal écrite, et c’est ça qui décide où il vaut la peine d’intervenir.
Mécanisme
Ce qu’on mesure : couverture des décisions à conséquence avec trace complète, temps pour reconstituer un dossier de bout en bout, % de reconstitutions qui échouent sur un trou, ancienneté et volume de trace conservée par type.
Ce qu’on mesure

Fiche technique

Travail supprimé: reconstituer à la main une décision d’IA en fouillant des logs de quatre systèmes sans identifiant commun, sans savoir quelle version de modèle, de prompt ou de politique était en vigueur
Mise en place habituelle: 4–8 semaines
Entrée: une décision à conséquence prise par ton IA —un refus, un prix, une clôture de dossier, une action sur un système— et tout ce qui l’a entourée
Sortie: un dossier de décision récupérable par identifiant : entrée, contexte récupéré, outils appelés, versions, politique appliquée, supervision humaine et résultat
Compatible avec: Los frameworks de agentes que ya uses (LangChain, LlamaIndex, SDKs de proveedor, desarrollo propio)OpenTelemetry y tu plataforma de observabilidad o de trazas de LLMTu ERP / CRM / ticketing como sistema de destinoTu gestor de versiones de prompts, políticas y modelos
Peut se connecter à: Ton programme de conformité à l’AI Act et tes preuves d’auditTa politique de rétention et de protection des données personnellesTon circuit de supervision humaine et d’approbationsTon processus d’incidents et d’amélioration continue
Ce qu’on mesure: couverture des décisions à conséquence avec trace complètetemps pour reconstituer un dossier de bout en bout% de reconstitutions qui échouent sur un trou dans la traceancienneté et volume de trace conservée par type de décision
Adapté pour: les entreprises dont l’IA ou les agents prennent des décisions à conséquence en production —crédit, prix, recrutement, service client, opérations— et qui devront les expliquer à un client, un auditeur ou un régulateur
Pas adapté pour: qui n’utilise que des assistants de rédaction ou des pilotes internes sans effet sur des tiers : là, l’observabilité opérationnelle suffit ; et ça ne remplace pas l’appréciation juridique de ce qui est défendable, qui reste à ton conseil

Questions fréquentes

Non, et les confondre est l’erreur qui coûte cher. Surveiller l’IA en production répond à une question agrégée au présent : le système va-t-il bien aujourd’hui, combien coûte-t-il, où se dégrade-t-il ? La traçabilité répond à une question singulière au passé : pourquoi cette décision est-elle sortie ainsi, celle du 14 mars, celle que conteste ce client ? L’une regarde la courbe ; l’autre ouvre le dossier. Il te faut les deux, mais celle qui te sauve dans une réclamation ou un audit est la seconde — et c’est celle que presque personne n’a montée, parce qu’elle exige de décider quoi garder, sous quel identifiant et pendant combien de temps.

Se conformer à l’AI Act en exploitant ton IA, c’est le cadre : quels systèmes tu as, dans quelle catégorie de risque ils tombent, quelle documentation et quelle supervision chacun exige. La traçabilité est l’un des mécanismes que ce cadre présuppose et qui n’est presque jamais construit : l’enregistrement automatique des événements de l’article 12 et sa conservation minimale de six mois. Tu peux avoir un programme de conformité à jour et rester incapable de reconstituer une décision précise — ce qu’on va justement te demander. Les deux se montent bien ensemble, et si le programme tourne déjà, c’est la pièce qui manque.

Si, si tu le fais brutalement, et c’est pour ça que la rétention fait partie de la conception et non d’un réglage ultérieur. On trace en détail seulement les décisions à conséquence et on échantillonne le reste ; on remplace les données personnelles par des identifiants partout où la trace reste reconstituable ; on fixe des durées par type de décision —en couvrant le minimum légal applicable, sans en faire un « pour toujours »— ; et on journalise qui consulte un dossier. Tout garder indéfiniment, ce n’est pas mieux se conformer : c’est accumuler du risque et de la facture. La règle : la trace doit suffire à reconstituer, et pas plus.

On le monte chez toi ?

Tu as ciblé le problème. On livre la solution et on la laisse mesurée.

Voir le service