O que faz um agente de IA quando não sabe a resposta (e o que faz o teu hoje)
Um agente bem desenhado faz três coisas, por esta ordem: deteta que não sabe através de um sinal mensurável, abstém-se de responder ou de atuar, e passa o caso a uma pessoa com o contexto já recolhido. Um agente mal desenhado faz uma só: responde na mesma. Depressa, bem escrito e com aprumo, que é precisamente o que torna a falha cara, porque assim ninguém a olha duas vezes.
Daí a tese deste guia, que soa a exagero e não é: um agente que nunca duvida é o mais perigoso que podes ter. Uma dúvida que se vê — «isso não sei, passo-te a quem sabe» — custa um encaminhamento. Uma dúvida que não se vê — uma resposta plausível e falsa, um campo preenchido a olho, um reembolso aprovado sem base — custa o erro mais o tempo de o encontrar, e a segunda parcela é quase sempre maior do que a primeira. Por isso um agente não se julga pelo seu melhor caso: julga-se pelo que faz no pior.
O que se segue não é sobre afinar o modelo. Baixar a invenção ao nível da resposta — grounding, citações, uma recuperação decente — é outro trabalho e tem de ser feito: está em reduzir alucinações de IA em produção. Este guia é sobre o que rodeia o momento da dúvida, que se desenha no teu sistema e vale igual para um agente de apoio, um que lê faturas e um que prepara um relatório. Os critérios concretos de passagem a humano num chatbot estão em criar um chatbot de IA; aqui vai a peça geral.
O teu agente está treinado para nunca se calar
Antes de desenhar seja o que for, há que aceitar o ponto de partida, e é incómodo: o modelo que levas por baixo vem com um enviesamento de fábrica contra o silêncio. Não é opinião de consultor do contra. O trabalho de Kalai, Nachum, Vempala e Zhang di-lo sem rodeios: os modelos de linguagem alucinam porque os procedimentos de treino e de avaliação premeiam adivinhar acima de reconhecer a incerteza, e o problema mantém-se pela forma como a maioria das avaliações é corrigida — os modelos são otimizados para serem bons examinandos, e um bom examinando, quando não sabe, responde à mesma. Fonte: Why Language Models Hallucinate, Kalai, Nachum, Vempala e Zhang (OpenAI), 4 de setembro de 2025, consultado a 13 de setembro de 2026.
O corolário operacional é o que interessa: a abstenção não é um comportamento latente que se acorde com uma frase no prompt. «Se não sabes, diz» ajuda à margem e falha exatamente onde dói, porque estás a pedir prudência a um sistema treinado para o contrário. A dúvida tem de ser fabricada fora do modelo: sinais que o sistema calcula, verificações que correm antes de atuar e uma saída para uma pessoa que existe mesmo.
Há uma segunda armadilha, ainda mais popular: perguntar ao modelo quanta confiança tem. Não funciona, e está medido. A avaliação de Xiong e colegas sobre elicitação de confiança encontrou que os modelos são muito sobreconfiantes quando verbalizam a sua confiança, com valores concentrados de forma esmagadora entre os 80 % e os 100 %. Fonte: Can LLMs Express Their Uncertainty?, Xiong et al., ICLR 2024, consultado a 13 de setembro de 2026. Um número que diz quase sempre noventa não é um sinal: é um adorno.
Os sinais de dúvida que servem, e o que toda a gente usa
A dúvida útil não sai do modelo: sai do sistema que o rodeia. São sinais calculáveis, cada um com o seu gatilho, e nenhum precisa de que o modelo seja sincero.
| Sinal | De onde sai | O que o dispara |
|---|---|---|
| Cobertura da fonte | O passo de recuperação, não o modelo | Não há passagem acima do limiar, ou a que há não contém o dado pedido |
| Desacordo consigo próprio | Duas passagens sobre a mesma entrada | As duas respostas não coincidem no dado que interessa |
| Contrato de saída partido | A validação, antes de se escrever seja o que for | Falta um campo obrigatório, um valor não é número, uma data não existe |
| Regra dura de negócio | A tua política, não o modelo | Valor acima do limite, cliente sem histórico, dado regulado, país fora de cobertura |
| Contador de falha | O orquestrador | N tentativas ou N turnos sem avançar |
| Pedido explícito | A pessoa do outro lado | «quero falar com alguém» |
Os três primeiros montam-se no próprio dia e são os que mais apanham. O da cobertura é o que mais rende por euro investido: se o agente responde sobre os teus documentos e o recuperador não trouxe nada relevante, já sabes que o que vier a seguir é invenção, sem precisares de o ler. Binário, barato e anterior à resposta.
Uma nuance que evita o erro de desenho mais comum: estes sinais não se somam num número mágico. Cada um pede um tratamento diferente. A cobertura vazia resolve-se dizendo «isto não tenho documentado» e passando o caso. O contrato partido resolve-se com uma tentativa limitada e, se voltar a partir, fila. A regra dura não negoceia com nenhum outro sinal: se o valor passa o limite, vai a uma pessoa mesmo que o agente esteja certíssimo. Um marcador global de confiança mistura coisas que não se parecem e acaba por esconder os três primeiros.
Antes de atuar, verificar: duvidar de uma resposta não é duvidar de uma ação
A abstenção tem duas versões e confundi-las sai caro. Abster-se de responder é barato: se te calas a mais, alguém responde depois. Abster-se de atuar é outro campeonato, porque uma ação mal feita deixa rasto num sistema e desfazê-la custa mais do que fazê-la. A fasquia não pode ser a mesma nos dois sítios.
O guia da OpenAI para construir agentes organiza isto por ferramenta, não por conversa: recomenda avaliar o risco de cada ferramenta do agente e dar-lhe uma classificação — baixo, médio ou alto — conforme seja de leitura ou de escrita, a ação seja reversível, que permissões exige e que impacto económico tem; e usar essa classificação para disparar ações automáticas, como parar para verificações antes de executar funções de alto risco ou escalar para uma pessoa. Sobre a intervenção humana é igualmente concreta: os dois gatilhos habituais são ultrapassar limiares de falha — limites de tentativas, ou não perceber a intenção do utilizador ao fim de várias tentativas — e as ações de alto risco, sensíveis, irreversíveis ou com muito em jogo, como cancelar encomendas, autorizar reembolsos grandes ou fazer pagamentos. Fonte: A practical guide to building agents, OpenAI, consultado a 13 de setembro de 2026.
- Verificar antes de escrever. Se o agente vai tocar num sistema, o dado verifica-se contra a fonte que manda — o mestre, o ERP, o contrato — e não contra o que o modelo se lembra. Nas ações, a verificação não é uma melhoria: é o passo.
- Se não é reversível, não há limiar que valha. Nenhuma medida de confiança autoriza uma ação que não se pode desfazer. Essa confirma-se sempre, mesmo que o agente leve seis meses sem falhar.
- Se a verificação não se pode fazer, isso já é a dúvida. O sistema que devia confirmar está em baixo, o documento não abre, o identificador não existe. Não é um caso raro que se resolve por analogia: é um caso que para.
Isto liga-se a duas decisões que se tomam à parte e convém não misturar: o que o agente pode tocar está em que permissões dar a um agente de IA, e quanto pode fazer sozinho, em os níveis de autonomia de um agente. O comportamento da dúvida é a terceira perna: o que acontece quando, com essas permissões e nesse degrau, o caso concreto não dá conta.
Onde pôr o limiar sem colapsar a equipa
O limiar não é um número que se escolhe a ler um artigo: é a consequência de duas coisas tuas, o custo do erro e a capacidade da fila. Se o erro é barato e visível, o limiar pode ser folgado. Se é caro e silencioso, aperta-se. E se o número de casos que manda para revisão não cabe nas horas que a tua equipa tem, esse limiar não é prudente: em três semanas estará a ser aprovado em bloco sem ler, o que é pior do que não o ter, porque ainda por cima gera um registo a dizer que alguém olhou.
- Agrupa as tarefas do agente em três baldes por custo do erro: barato e visível, caro e visível, caro e invisível. Manda o terceiro: aí o limiar põe-se onde for preciso mesmo que doa.
- Arranca deliberadamente pessimista. É mais fácil defender um limiar que se alivia com dados do que um que se aperta depois de um incidente.
- Mede duas semanas e olha para as abstenções, não para os acertos. Em cada caso que foi para a fila, marca se a pessoa o resolveu de forma diferente — a abstenção estava certa — ou igual ao que o agente teria feito — era ruído. É essa repartição que move o limiar, não a sensação.
- Ajusta por segmento, nunca em global: cliente novo contra cliente de dez anos, valor pequeno contra valor grande, língua em que tens documentação contra língua em que não tens.
- Põe a capacidade como teto duro. Se com o limiar certo a fila não cabe, a conclusão não é baixar o limiar: é que essa tarefa ainda não devia estar em produção sem mais mãos.
Quando o volume cresce, isto deixa de ser uma configuração e passa a ser uma função com turnos, cobertura e métricas próprias: é supervisão humana de IA à escala, e convém montá-la antes de precisares dela.
O que tem de viajar no traspasse para que a pessoa não comece do zero
Um traspasse sem contexto é uma dúvida bem detetada e mal resolvida. O agente fez a sua parte — parou a tempo — e o cliente conta o problema uma segunda vez à mesma, que é exatamente o que irrita num chatbot. Num traspasse interno acontece o mesmo sem que ninguém se queixe: a pessoa reconstrói à mão o que o sistema já tinha.
A mecânica está resolvida nos dois guias de referência. No padrão descentralizado que a OpenAI descreve, o traspasse entre agentes transfere o controlo e também o último estado da conversa; e um agente, por definição, pode parar a execução e devolver o controlo ao utilizador quando falha. A Anthropic põe a questão como pontos de paragem: os agentes podem pausar para intervenção humana em pontos de controlo ou quando encontram um bloqueio, e convém fixar condições de paragem — um máximo de iterações — para não perder o controlo. Fontes: A practical guide to building agents, OpenAI, e Building effective agents, Anthropic, 19 de dezembro de 2024; ambas consultadas a 13 de setembro de 2026.
O que a documentação não te dá é o conteúdo do pacote. Estes são os seis campos que fazem com que um traspasse poupe tempo em vez de o custar:
- O que o caso pedia, numa linha e com as palavras de quem pediu.
- O que o agente fez até parar: o que consultou, o que encontrou, o que escreveu se escreveu alguma coisa.
- Porque parou: o sinal concreto que disparou, não «baixa confiança». «Nenhum documento cobre a pergunta» e «o valor ultrapassa o limite» pedem duas coisas diferentes à pessoa.
- O que já tem recolhido: identificadores, anexos, dados verificados. Se a pessoa tiver de os pedir outra vez, o traspasse falhou.
- O que NÃO fez, quando importa: «não foi enviado nada ao cliente», «a encomenda não foi tocada». Evita a ação duplicada, o acidente clássico do escalado.
- O que se espera da pessoa: decidir, redigir, autorizar. Um caso que chega sem verbo fica na fila.
E falta o troço de volta, que quase ninguém monta: a decisão da pessoa tem de voltar ao registo com o seu motivo. Sem isso, cada abstenção é um caso perdido; com isso, a fila de revisão transforma-se na bateria de casos com que medes o agente no mês seguinte. É a diferença entre um sistema que escala e um que também aprende com o que escala.
Como se mede um agente que duvida bem (e porque a tua eval o penaliza hoje)
Se a tua única métrica é a percentagem de acerto, estás a reproduzir em casa o problema que Kalai e companhia descrevem: quando «não sei» pontua igual a uma resposta errada, adivinhar é o racional. Eles chamam-lhe uma epidemia de penalizar as respostas incertas, e a proposta não é acrescentar mais uma avaliação de alucinações, mas mudar como pontuam as avaliações que já se usam. Na tua empresa é a mesma operação, e cabe em três números.
- Taxa de abstenção. Que percentagem de casos o agente para. Não tem um valor bom universal: tem um valor esperado que fixas tu e uma tendência que vigias. Se cai sozinha de um mês para o outro sem teres mexido em nada, alguma coisa se partiu no sinal.
- Precisão da abstenção. Do que mandou para a fila, que parte a pessoa resolveu de forma diferente da que o agente teria feito. É a métrica que distingue um agente prudente de um cobarde.
- Erro com aprumo. Casos que correram mal sem que o agente assinalasse nada. É a única das três com um objetivo claro, e é zero. Cada um abre-se e transforma-se em sinal novo ou em regra dura.
Com esses três números a conversa muda de sítio: deixa de ser «o agente é bom?» e passa a ser «em que é que se engana, e sabe-o?». Que é a única versão da pergunta que se pode responder com dados.
Nós montamos este comportamento antes do agente: sinais calculados, verificação obrigatória em tudo o que escreve, limiar ligado à capacidade real e um traspasse com os seis campos. É o que está por baixo de apoio com IA 24/7 e de qualquer agente que deixemos falar com um cliente teu, e o que se vigia a volume em supervisão humana de IA à escala. O resto da montagem — permissões, autonomia, memória, evals — está em criar um agente de IA que aguente produção.