A tese numa frase: no dia em que um agente fizer alguma coisa que seja preciso explicar, ninguém te vai perguntar pela taxa de acerto. Vão perguntar-te o que aconteceu naquele caso concreto, e vais ter exatamente aquilo que decidiste guardar seis meses antes.
A cena repete-se. Um cliente reclama, um auditor pergunta, um chefe quer saber. Alguém abre o painel do agente e mostra 96 % de acerto. E a resposta do outro lado é sempre a mesma: «muito bem, mas eu estou a perguntar pelo caso da Marta, o de 14 de março». Os 96 % não respondem a essa pergunta. Não respondem porque medem outra coisa.
Esse desencontro tem nome e não é uma falha técnica: comprou-se uma camada a acreditar que se compravam três.
Desempenho e prova auditável não são a mesma pergunta
O desempenho é uma pergunta agregada e no presente: o sistema está a correr bem, quanto custa, onde é que se degrada? Responde-se com uma curva e serve para operar. A prova auditável é uma pergunta singular e no passado: porque é que esta decisão saiu assim, para este cliente, neste dia? Responde-se com um processo e serve para te defenderes.
São perguntas diferentes, com respostas diferentes, e a armadilha é que a primeira vê-se e a segunda não. Um painel mostra-se numa demonstração; um processo reconstruído só aparece quando alguém precisa dele, que é sempre tarde para o montar.
As três camadas que o mercado vende como uma
Quando um fornecedor diz «os nossos agentes são auditáveis», pode estar a falar de três coisas que não se substituem entre si. Separa-as antes de comparar propostas, porque quase todos cobrem bem uma e as outras duas de passagem.
| Camada | Quando atua | A que pergunta responde | O que NÃO faz |
|---|---|---|---|
| Guarda-corpos | Antes: preventivo | Pode fazer isto? | Não deixa rasto do porquê do que chegou a acontecer |
| Observabilidade | Durante: operativo, agregado | Está a correr bem hoje? | Não reconstrói um caso concreto |
| Rasto de auditoria | Depois: probatório, singular | Porque é que ESTE caso saiu assim? | Não evita nada; só prova |
A primeira camada é uma decisão de desenho: o que o agente pode tocar e até onde vai sozinho. Decide-se antes de ligar seja o que for — está desenvolvido em que permissões dar a um agente de IA e nos níveis de autonomia de um agente — e o seu valor é que certas coisas não cheguem a acontecer. Mas um guarda-corpos que funciona é invisível: não produz prova, produz ausência de incidente.
A segunda é a que quase toda a gente compra primeiro, e com razão: sem ela um agente parte-se em silêncio. É monitorizar a IA em produção, e responde em agregado. A sua unidade é a métrica, não o caso.
A terceira é a que quase ninguém tem montada, porque exige decisões incómodas: o que se guarda, com que identificador e durante quanto tempo. É a rastreabilidade de decisões de IA, e é a única que te serve no dia da reclamação. As três são necessárias. Mas só uma responde à pergunta que te vão fazer.
Porque é que o teu registo não serve de prova
Chega a objeção razoável: «nós registamos tudo». É quase sempre verdade, e quase sempre não serve. Um registo operacional e um rasto probatório distinguem-se por duas propriedades que não são técnicas, são de governo.
- Integridade. Um rasto probatório tem de conseguir demonstrar que não foi mexido desde que foi escrito. Se qualquer pessoa com acesso ao sistema o pode editar ou apagar sem deixar marca, não prova nada: é a versão dos factos escrita por uma das partes.
- Uma retenção decidida. Um registo roda. Apaga-se ao fim de trinta dias porque ocupa, ou porque ninguém pensou nisso. Um rasto tem um prazo escolhido de propósito, escrito, alinhado com o tempo real em que as reclamações aparecem no teu negócio — que raramente são trinta dias.
E aqui está o choque que convém antecipar: reter durante mais tempo empurra no sentido contrário ao de minimizar dados pessoais. Não se resolve com uma ferramenta, resolve-se com uma política escrita por tipo de sistema: o que se guarda inteiro, o que se guarda pseudonimizado, o que se guarda só como referência. Essa decisão é do negócio e do jurídico, não do fornecedor. Se ninguém a tomou, a política por omissão é a de quem configurou a rotação por omissão.
O que a norma europeia já exige, e a quem
Convém ser preciso, porque nisto exagera-se nos dois sentidos. O regulamento europeu de inteligência artificial não obriga a registar tudo o que qualquer IA faz. Obriga para os sistemas classificados de alto risco, e aí a exigência passa por dois sítios.
O artigo 12 obriga a que o sistema permita tecnicamente o registo automático de eventos ao longo do seu ciclo de vida, com capacidades de registo que sirvam para identificar situações de risco e para vigiar o seu funcionamento. Isso recai sobre quem fabrica.
A parte que quase ninguém leu é o artigo 26, n.º 6, e essa recai sobre quem implementa: quem usa um sistema de alto risco deve conservar os registos gerados automaticamente, na medida em que estejam sob o seu controlo, durante um período adequado à finalidade prevista e de pelo menos seis meses, salvo se outra norma da União ou nacional dispuser de outro modo, em particular a de proteção de dados pessoais. Fonte: Article 26: Obligations of Deployers of High-Risk AI Systems, EU Artificial Intelligence Act, consultado a 11 de setembro de 2026.
Duas nuances para não passar da conta. A primeira: a data de aplicação destas obrigações mudou, e a mesma fonte situa a entrada em vigor do artigo 26 a 2 de dezembro de 2027 para os sistemas de alto risco do anexo III e a 2 de agosto de 2028 para os do anexo I, nos termos do artigo 113. A segunda, mais importante: se o teu agente não é de alto risco, isto não te obriga. Mas a expressão «na medida em que estejam sob o seu controlo» já diz para onde vai o padrão do setor, e um cliente grande ou uma seguradora podem pedir-to muito antes de um regulador.
As três coisas a exigir por escrito antes de assinar
Não é preciso um anexo de vinte páginas. Com três perguntas respondidas por escrito sabes se tens prova ou se tens um painel.
- Que campos são registados, exatamente. Não «registamos a atividade». A lista: identificador do caso de ponta a ponta, versão do modelo e das instruções em vigor, o que foi recuperado, que ferramentas foram invocadas, que política foi aplicada e quem reviu. Se a resposta for um adjetivo em vez de uma lista, não há rasto.
- Onde vivem e durante quanto tempo. Em que sistema, sob o controlo de quem, com que prazo de retenção e o que acontece no fim. Um prazo por omissão que ninguém escolheu é uma decisão tomada por omissão, e vais descobri-la no dia em que precisares dela.
- Quem os pode exportar e em que formato. Esta é a mais esquecida e a mais cara: no dia em que mudares de fornecedor, levas o rasto contigo ou fica na plataforma dele? Se não estiver escrito, parte do princípio de que fica.
Nenhuma das três é uma pergunta técnica difícil. São perguntas a que um fornecedor sério responde num email, e as que não se respondem num email dizem-te mais do que as que sim.
O que fazer esta semana
Escolhe um agente que já esteja a trabalhar e faz a prova dos seis meses com um caso real. Não é preciso mais: em meia hora vais saber em qual das três camadas estás e qual te falta. Se não conseguires reconstruir o caso, a lista acima é a tua conversa pendente com quem to vendeu.
E se ao reconstruí-lo descobrires que nem sequer sabes que versão de instruções estava a correr nesse dia, esse é um problema anterior e resolve-se primeiro: as instruções de um agente de IA não são um prompt, são um documento com dono, versão e data. Sem essa versão apontada, o rasto mais completo do mundo deixa-te a meio.
O resumo honesto: o desempenho diz-te se o sistema vale a pena; a prova auditável diz-te se o consegues sustentar à frente de alguém. A primeira coisa compra-se com facilidade. A segunda decide-se antes e não se monta para trás.