Numa terça-feira à tarde, o agente de apoio ao cliente diz a um cliente que pode devolver uma encomenda personalizada fora do prazo. Não pode: essa política não existe. Alguém da equipa descobre-o ao ler a conversa e a reação é quase universal: abrir os registos e perceber porque é que o disse. É o gesto mais natural e o que mais prolonga o dano.
A tese numa linha: quando um agente de IA se engana com um cliente, a ordem certa é conter, delimitar o alcance, avisar e só depois diagnosticar. Quase todos começam pelo fim e, enquanto diagnosticam, o agente continua a responder.
O que fazer quando um agente de IA falha: conter antes de diagnosticar
Diagnosticar demora horas; conter demora minutos. Enquanto procuras a causa, o agente continua em produção com as mesmas instruções, os mesmos dados e as mesmas ferramentas que produziram o erro, por isso cada nova conversa é outra oportunidade de o repetir. Conter não é reparar: é reduzir o que o agente pode fazer até saberes o que aconteceu. E tem de ser reversível, porque vais fazê-lo à pressa e sem diagnóstico.
As opções, da menos à mais drástica:
- Baixar-lhe a autonomia. Passá-lo para «propõe, uma pessoa envia». O serviço mantém-se e o dano novo pára. Só é possível se tiveres definido antes uma escala de níveis de autonomia de um agente.
- Retirar-lhe a ferramenta que causou o dano. Se prometeu um reembolso, tira-se-lhe a permissão de reembolsar; se escreveu no CRM, fica só em leitura. É a vantagem prática de ter pensado bem nas permissões de um agente de IA.
- Passar os temas afetados a uma pessoa, com uma mensagem fixa e honesta: «Vai ser atendido por uma pessoa da equipa».
- Desligá-lo por completo. Último recurso, mas legítimo. Exige um interruptor com nome e alguém autorizado a premi-lo sem pedir licença a três pessoas.
A regra: prime o botão mais pequeno que trave o dano. Um agente desligado também é um incidente, só que visível.
Quantos outros clientes receberam a mesma resposta errada
É a pergunta para a qual quase ninguém está preparado e a que decide a gravidade real. Um erro isolado e um padrão não se gerem da mesma maneira, e a partir da conversa de um só cliente é impossível saber qual dos dois tens. Delimitar o alcance é responder com dados a três perguntas:
- Quantos foram expostos: conversas em que o agente disse o mesmo ou algo equivalente, desde a primeira vez que podia ter acontecido até ao momento da contenção.
- Quantos agiram em consequência: os que pediram a devolução, aceitaram um prazo ou tomaram uma decisão com base nessa resposta.
- Quantos têm um compromisso com dinheiro ou prazo: os únicos que exigem hoje uma resposta individual.
Nada disto é possível se as conversas não forem guardadas e pesquisáveis. A retenção do registo costuma decidir-se por custo de armazenamento ou privacidade, sem pensar neste momento; convém decidi-la sabendo que é ela que te permite contar os afetados, como se explica em quanto tempo deve durar o log do teu agente. Um bom critério de partida: a janela a rever começa na última alteração do agente (instrução, fonte de dados ou modelo), não na primeira queixa.
Avisar: quem, quando e com que mensagem
Avisar vem antes do diagnóstico, porque o cliente afetado vai saber de qualquer forma, e é melhor que saiba por ti. Não é preciso conhecer a causa para dizer o essencial: o que aconteceu, o que é válido e o que não é, e o que vais fazer. Três destinatários, três momentos:
| Quem | Quando | O que lhe dizes |
|---|---|---|
| Quem decide na empresa (direção ou responsável pelo serviço) | Assim que confirmas um erro com impacto | O que disse o agente, desde quando, a quantos e o que já contiveste |
| Clientes com compromisso de dinheiro ou prazo | O mais cedo possível, individualmente, depois de delimitado o alcance | Que a informação estava errada, qual é a correta e como se resolve |
| Os restantes expostos | Só se agiram com base na resposta ou se o tema for sensível | Uma correção breve, sem dramatismo |
Duas coisas que não funcionam: esperar pela causa raiz para escrever ao cliente e enviar-lhe um comunicado sobre «um problema técnico». Diz-lhe o que o agente disse e o que está certo. Cumprir ou não o que o agente prometeu por engano é uma decisão de negócio, tomada de forma consciente por quem deve; o que não pode acontecer é o agente tomá-la por omissão.
É preciso avisar se o erro afetou apenas um cliente?
Sim: esse cliente e quem decide na empresa. O que muda é o resto: com um caso confirmado como isolado depois de delimitar o alcance, basta uma correção individual. Mas «isolado» é uma conclusão que se demonstra com a pesquisa acima, não uma suposição de partida.
Só depois: diagnosticar sem reabrir o problema
Com o dano travado e os afetados identificados, o diagnóstico deixa de correr contra o relógio. Procura a causa por esta ordem, do mais barato ao mais caro: a instrução (era ambígua ou contraditória?), a fonte de informação (um documento desatualizado, uma página que mudou?), a ferramenta (devolveu um valor errado?) e, por fim, o modelo. Quase nunca é o modelo, e é a hipótese para onde se salta primeiro.
Resta um risco: corrigir e reativar no mesmo dia. A correção é mais uma alteração e precisa de ser testada antes de tocar na produção, com a conversa que falhou como primeiro teste. Depois devolve-se a autonomia por degraus, não de uma só vez.
As primeiras duas horas, resumidas
| Fase | O que fazes | O que não fazes |
|---|---|---|
| Minutos 0-15 | Conter: baixar a autonomia, retirar a ferramenta ou passar a uma pessoa | Procurar a causa |
| Minutos 15-60 | Delimitar: contar expostos, afetados e compromissos com dinheiro | Dar por adquirido que foi um caso isolado |
| Minutos 60-90 | Avisar: primeiro quem decide, depois os clientes com compromisso | Esperar pela causa raiz para comunicar |
| Minutos 90-120 | Começar a diagnosticar com o dano travado | Reativar sem testar a correção |
O que tem de estar pronto antes de acontecer
Duas horas só são possíveis se as peças existirem antes: um interruptor com nome e alguém autorizado a usá-lo, um registo de conversas consultável, uma lista de quem avisar e um rascunho de mensagem. Se for a primeira vez que pensas nisto às seis da tarde, serão mais de duas horas. A escala de piquete, os níveis de gravidade e o runbook de uma página que ordenam tudo isto estão em quem responde quando uma automatização pára, e se preferires não o montar nem sustentar tu, é o que fazemos com a gestão de incidentes de agentes de IA.
A frase para levar: que um agente se engane é normal; que continue a enganar-se enquanto tu descobres porquê, não.