Um piloto que classifica pedidos de clientes é validado em janeiro. Funciona: casos reais, revisão humana, aval do comité e produção. Em junho começam as queixas: pedidos encaminhados para o departamento errado, respostas ao lado. A equipa faz o razoável e revê o prompt, o modelo e a configuração. Está tudo exatamente como em janeiro. «Ninguém mudou nada», concluem, e a conversa escorrega para «a IA não é de confiança».
A tese numa linha: quando um agente piora sem que ninguém toque no código, o que mudou foram as suas entradas, e o teste de janeiro só demonstrou que funcionava para as pessoas, os formulários e o calendário de janeiro. «Ninguém mudou nada» não é a defesa do sistema; é o diagnóstico.
Porque piora um agente de IA com o tempo se o código é o mesmo
Porque um agente não é um programa que faça sempre o mesmo: é uma função do que recebe, e o que recebe muda. Uma validação mede o comportamento sobre uma amostra concreta de entradas. Se a realidade se afasta dessa amostra, o número que viste no teste não vai com ela. É a mesma razão pela qual uma percentagem de acerto não chega em produção: a precisão não é uma propriedade do modelo, é uma propriedade do sistema mais os seus dados, e os dados mexem-se.
Quatro formas de as entradas mudarem sem avisar
- O calendário. Campanhas, fechos de trimestre, época alta, o mês de férias. O agente validado com o tráfego de um mês calmo encontra, noutro mês, outro tipo de pedido: mais urgente, mais ambíguo.
- Gente nova que escreve de outra forma. Um canal novo, um cliente de outro país, um segmento que antes não chegava. Mensagens mais longas, outra língua pelo meio, outras abreviaturas. A amostra do teste não as continha.
- Um sistema a montante que muda. Um formulário que acrescenta um campo opcional, um CRM que muda o formato de uma data, um fornecedor que renomeia uma coluna. Ninguém avisa o agente, porque ninguém sabe que essa dependência existe.
- O negócio muda e o prompt não. Produto novo, preços novos, uma política de devoluções diferente. As instruções continuam a descrever a empresa de janeiro.
Deriva da entrada e deriva do modelo não se resolvem da mesma maneira
Convém não as misturar, porque a primeira pergunta de um diagnóstico é qual das duas tens. A deriva do modelo vem do fornecedor: atualiza ou retira uma versão e o mesmo prompt comporta-se de outra forma. Contém-se com a versão fixada e uma bateria de casos executada a cada alteração, e desenvolvemo-la no guia sobre como mudar de modelo sem partir as tuas automatizações.
A deriva da entrada acontece mesmo que fixes tudo. Podes congelar o modelo, o prompt e a infraestrutura durante um ano: se o mundo que o alimenta muda, o agente piora na mesma. Por isso a reação habitual, experimentar outro modelo, costuma ser um erro, como explicamos em mudar de modelo não resolve o teu processo: mudas o problema de sítio e ainda pagas uma migração.
Uma pergunta de um minuto separa os dois casos: mudou o sistema ou mudou o que entra nele? Se o modelo, o prompt e as integrações estão como antes e o desempenho cai, começa pelas entradas.
Como detetar a deriva da entrada antes de o cliente a detetar
Um sinal que chega pela via das queixas chega tarde: nessa altura já levas semanas de erros. As quatro verificações que se lhe antecipam são baratas, mas têm de existir antes de serem precisas:
- Guarda a fotografia da validação. A amostra de entradas com que o agente foi aprovado é a tua referência. Se não a conservaste, não há com o que comparar.
- Compara todas as semanas o que entra com essa fotografia. Não é preciso estatística sofisticada: comprimento das mensagens, língua, distribuição por categoria, campos vazios, percentagem de casos que o agente nunca tinha visto. Uma mudança brusca em qualquer um deles é o alarme.
- Vigia as exceções por tipo de entrada. A taxa de casos que o agente passa a uma pessoa, ou que uma pessoa corrige, sobe antes das queixas e, desagregada por tipo, diz-te onde a realidade se está a mexer.
- Volta a executar as avaliações com casos recentes. Uma bateria fixa de janeiro só te conta o que já sabias. Acrescenta todos os meses casos reais novos, etiquetados por uma pessoa, como se explica em avaliações para saber se a tua IA funciona a sério.
O primeiro passo, aliás, só existe se tiraste a linha de base. É o mesmo princípio de medir o desempenho das tuas automatizações: o número que não tiraste antes não se pode tirar depois.
O que fazer quando a entrada já se mexeu
Há três respostas, e a escolha depende de quanto se mexeu e do custo do erro:
- Atualizar a referência. Incorporar os casos novos na validação e reajustar instruções e exemplos. É a resposta quando a mudança é estável e o agente pode aprender a cobri-la.
- Alargar o âmbito com um percurso próprio. Se apareceu um tipo de entrada novo e distinto (outra língua, outro canal), trata-o como um caso novo com a sua própria validação, não como uma variante do anterior.
- Reduzir entretanto a autonomia. O que o agente já não reconhece passa para uma pessoa, e o agente passa de decidir a propor. É o mecanismo dos níveis de autonomia de um agente: descer um degrau é reversível; desligá-lo nem sempre.
Nada disto funciona sem dono. A deriva da entrada não a deteta ninguém em particular porque não é o trabalho de ninguém em particular: nem de quem construiu o agente, que já está noutro projeto, nem de quem o usa. É preciso uma pessoa com nome, uma cadência (semanal, para começar) e autoridade para alterar o agente quando os dados o pedem. O resto do plano está no guia de manutenção das automatizações de IA. E se preferires não o montar nem o sustentar tu, é o que fazemos ao monitorizar a IA em produção: instrumentar as entradas, as exceções e os casos de referência, e agir quando se mexem.
Como saber se te está a acontecer agora
- Ninguém te consegue mostrar a amostra de entradas com que o agente foi aprovado.
- A última vez que se acrescentaram casos novos à validação foi antes do lançamento.
- As exceções contam-se no total, não por tipo de entrada.
- Se perguntares quem vigia tudo isto, a resposta é «a equipa», não uma pessoa.
Se duas das quatro forem verdadeiras, provavelmente o teu agente já se mexeu e só te falta o instrumento para o ver.
A frase para levar: um agente não piora por envelhecer, piora porque o mundo continua a mudar e ninguém voltou a verificar se continuavam a falar a mesma língua.