Cenário ilustrativo. Um distribuidor lança um agente que tria os problemas de encomendas e propõe a resposta ao cliente. No dia do lançamento há bolo. À terceira semana, três pessoas têm opinião sobre se está a correr bem, e cada uma olha para uma coisa diferente: uma conta os casos que ele resolve, outra os que lhe voltam, e a terceira só se lembra do que correu mal. Ninguém tem uma data para decidir se o agente fica, se ajusta ou se desliga.
A tese numa linha: o lançamento não é a meta, é o início da janela mais barata para corrigir um agente, e essa janela desperdiça-se sem um calendário. Cada semana dos primeiros trinta dias tem de responder a uma pergunta diferente, e no fim alguém, com nome, tem de assinar uma decisão.
O que acontece nas primeiras semanas de um agente de IA em produção?
Nas primeiras semanas de um agente de IA em produção acontece o que a demo não podia mostrar: chegam os casos reais, com formatos estranhos, exceções e clientes impacientes. É também o momento em que corrigir custa menos. O volume ainda é baixo, as alterações entram sem pedir licença a metade da empresa e as pessoas ainda se lembram de como o trabalho se fazia antes, por isso notam depressa quando o agente se desvia.
Depois, cada correção sai mais cara: mais volume, mais gente a depender do agente, mais histórico que não queres estragar. Por isso o primeiro mês merece regras próprias, e não um «o agente já está a andar». Há quatro sinais que se olham sempre: as exceções (o que o agente não sabe resolver), as correções humanas (o que as pessoas arranjam depois dele), o desvio (quanto se afasta do que foi testado) e o custo real por caso.
Semana 1: faz o que aprovámos?
A primeira semana não se mede, lê-se. Uma pessoa revê à mão, todos os dias, uma amostra alargada de casos, de preferência alguém que montou o agente e alguém que conhecia o processo anterior. Quinze minutos por dia chegam se a amostra for bem escolhida: os casos fáceis, os duvidosos e todos os que o agente escalou.
A pergunta da semana: o agente faz exatamente o que ficou combinado, e só isso? Três verificações: não toca em nada fora do seu perímetro (as permissões que lhe deste, não as que poderia ter; os níveis de autonomia de um agente servem de lista de controlo), cada caso deixa rasto suficiente para reconstituir o que aconteceu, e existe uma lista de «casos que ninguém previu» com data e responsável. Essa lista é o ativo mais valioso da semana: é o trabalho real que a demo saltou.
Semana 2: o que corrigem as pessoas depois do agente?
Na segunda semana olha-se para o que os humanos corrigem. Cada correção é informação gratuita sobre onde o agente falha, mas só se se registar o que foi corrigido e porquê. A regra prática é simples: uma correção isolada é um erro; a mesma correção três vezes é uma regra que falta.
Separam-se as correções por tipo: dado mal extraído, decisão errada, tom ou formato, e caso que devia ter sido escalado e não foi. A última é a mais cara, porque indica que o agente não sabe quando não sabe; os critérios estão em o que faz um agente quando não sabe. E calcula-se uma métrica de desempenho com a mesma régua que vais usar depois, como explica o guia sobre medir o desempenho das tuas automatizações: se mudares de métrica a meio do mês, não consegues comparar nada.
Semana 3: acumulam-se as exceções e o terreno mexe-se?
A terceira semana é a das exceções e do desvio. As exceções são o trabalho que o agente devolve às pessoas; o que importa não é quantas são, mas se alguém as trata, com que atraso e se a fila cresce ou estabiliza. Uma fila que ninguém priorizou é onde morre a poupança, como conta a fila de exceções, onde morre a poupança.
O desvio mede-se contra algo concreto: um conjunto de casos com a resposta certa conhecida, o mesmo que usaste para aprovar o lançamento. Repete-se agora e verifica-se se o agente continua a responder da mesma forma. Se mudou o fornecedor do modelo, um formato de entrada ou uma ferramenta ligada, vês aqui antes de o cliente ver. Que o comportamento piore com o tempo não é azar, é o normal, e explicamo-lo em porque é que o teu piloto funcionou em janeiro e não em junho.
Semana 4: quanto custa mesmo cada caso e o que decidimos?
Na quarta semana põe-se preço. O custo por caso não é a fatura do modelo: soma as horas de quem revê, de quem trata as exceções e de quem reajusta, mais o tempo de quem prepara o relatório. Se o único custo no ecrã são os tokens, estás a olhar para a parte barata. Para ter esses números em direto sem montar o painel à mão existe a função de monitorizar a IA em produção.
Com as quatro semanas à frente, toma-se uma decisão por escrito. Não há uma quarta opção de «logo se vê»:
| Decisão | Quando se aplica | O que implica |
|---|---|---|
| Declarar estável | As correções repetidas descem, a fila de exceções não cresce e o custo por caso está dentro do acordado | Passa a revisão por amostragem e à rotina de manutenção |
| Prolongar com alterações | Há uma causa identificada e corrigível, mas os números ainda não sustentam o caso | Fixa-se um prazo e uma alteração concreta, não «mais uns dias» |
| Parar ou reduzir a autonomia | As mesmas correções aparecem todas as semanas ou ninguém sabe explicar o custo | Volta ao modo assistente ou desliga-se; é um resultado válido, não um fracasso |
Quando NÃO declarar estável um agente no fim do mês?
Há quatro situações em que assinar «estável» é um erro, mesmo que os números pareçam bons. Uma: o volume das quatro semanas foi tão baixo que não apareceu nenhum caso raro; um mês sossegado não prova nada. Duas: o mês incluiu uma mudança de fornecedor ou de processo e o conjunto de casos não foi repetido depois. Três: a decisão foi tomada por quem montou o agente, sem a assinatura de quem responde pelo processo; é disso que trata critérios de aceitação de um agente de IA: quem assina o OK. E quatro: ninguém tem nome e turno atribuídos para vigiar o agente na semana seguinte.
Declarar estável não significa deixar de olhar. Significa passar da revisão intensiva a uma rotina mais leve, com o calendário de manutenção das automatizações com IA e o agente já inventariado. Se o salto do piloto para a operação é precisamente onde ficas preso, a função do piloto de IA à produção cobre esse troço.
O que levas daqui
O que este calendário muda não é a técnica, é o hábito: uma pergunta por semana, uma pessoa com nome e uma decisão no fim. Semana um, faz o que foi aprovado? Semana dois, o que corrigem as pessoas? Semana três, acumulam-se exceções ou o terreno mexe-se? Semana quatro, quanto custa e o que decidimos? Um agente que sobrevive a estas quatro perguntas ganhou direito a uma vida aborrecida, que é exatamente o que queres dele.
Nota: este artigo não usa números de terceiros. O cenário é ilustrativo, e os prazos e limiares de cada decisão dependem do processo, do volume e do risco de cada empresa; fixa-os antes do lançamento, não depois.