A tese numa frase: reduzir alucinações de IA em produção é um problema de engenharia resolvido a meias por toda a gente e explicado com fumo por quase todos. Há três ou quatro coisas que mexem mesmo a agulha e uma dúzia que se vendem como se o fizessem e não o fazem. Este é o scorecard: técnica a técnica, com veredicto. Se alguém te vende uma das « fumo » como a solução, já sabes por onde vai.
Primeiro: isto não é o « porquê » da alucinação. Que o modelo preveja o plausível e não o verdadeiro, e que esteja treinado para nunca se calar, contamo-lo em porque a IA alucina e o que exigir ao teu fornecedor. Aqui damos o diagnóstico por adquirido e vamos ao que de facto importa em produção: que alavancas mexer e quais ignorar.
Como ler este scorecard de técnicas para reduzir alucinações de IA em produção
Cada técnica leva um veredicto de três: mexe a agulha (usa-a e notarás menos alucinação nos teus dados), depende (ajuda num caso concreto, não em geral) e fumo (vendida como solução e quase não muda nada). O critério não é teórico: é o que acontece quando a pões diante de dados reais e volume real, não de uma demo com cinco perguntas escolhidas.
O que é fumo (ou quase)
Começamos pelo que mais se vende e menos rende, porque é aí que se perde mais dinheiro e tempo.
- « Diz-lhe no prompt para não inventar ». Fumo. Acrescentar « não inventes nada, se não sabes di-lo » ajuda um pouco à margem, mas estás a pedir honestidade a um sistema sem um interruptor de verdade lá dentro. Quando não sabe algo teu, o prompt não lhe dá o dado; só lhe pede que se cale, e obedece a espaços. Útil como cinto, inútil como travão.
- Baixar a temperatura. Fumo para isto. A temperatura controla o quanto o modelo arrisca ao escolher a palavra seguinte, não se o dado está certo. À temperatura 0 alucina de forma mais constante, não menos. Reduz a variabilidade, não a falsidade.
- O modelo mais novo e maior. Depende, a puxar para fumo. Um modelo melhor alucina um pouco menos em conhecimento geral, mas sobre os TEUS dados —os que não estavam no treino— continua sem fazer ideia, por mais potente que seja. Trocar de modelo não resolve o problema que mais dói: o da tua informação.
- Fine-tuning « para lhe ensinar os teus dados ». Fumo para factos, útil para estilo. Afinar um modelo ensina-o a soar como tu e a seguir formatos, não a memorizar factos frescos e citáveis. Se o teu dado muda todas as semanas, o fine-tuning vai sempre atrás. Para factos, o que queres é grounding, não fine-tuning —explicamos abaixo—.
O que mexe mesmo a agulha
Estas são as peças de engenharia que baixam a alucinação onde importa. Nenhuma é um truque; todas são exigíveis a quem te monta o sistema.
- Grounding / RAG: responde com os teus documentos à frente, não de memória. Mexe a agulha, e é a alavanca número um. O sistema procura primeiro na tua documentação os fragmentos relevantes e põe-nos à frente do modelo para que responda sobre eles. O facto vive fora do modelo, numa base que controlas. Não elimina a alucinação, mas corta-a onde mais dói: nos teus dados. Como se monta essa camada —que documentos, como se partem, como se recuperam— detalhamo-lo em como treinar um agente com a tua própria informação.
- Citações verificáveis: cada afirmação com a sua fonte. Mexe a agulha, porque transforma a alucinação de invisível em auditável. Um sistema sério mostra o fragmento exato que usou para cada resposta. Se a citação não sustenta o que diz, apanha-lo. E a regra dura: se o sistema não pode citar de onde sai uma resposta, essa resposta não se lança.
- Abstenção: deixá-lo dizer « não sei ». Mexe a agulha, e quase ninguém a implementa. Configurar o sistema para que, abaixo de um limiar de confiança ou sem fonte a suportar, responda « não tenho isto » em vez de improvisar, elimina a categoria de erro mais cara: a resposta falsa com aplomo. É incómodo porque baixa a taxa de resposta; é correto porque sobe a de acertos.
- Humano no ciclo onde o erro custa (não em tudo). Mexe a agulha sem matar a poupança. Pôr uma pessoa a rever cada resposta mata o ROI; não pôr em nenhuma é uma roleta. O desenho certo põe o travão humano só onde o erro é caro ou irreversível —um valor, um compromisso legal, uma mensagem ao cliente— e deixa passar o que é barato de desfazer.
- Evals: medir a taxa de alucinação. Mexe a agulha indiretamente, e é inegociável. Medir não baixa a alucinação por si só, mas sem um número visível todas as semanas não sabes se as outras alavancas funcionam nem quando o sistema se degradou. O que não se mede degrada-se em silêncio.
O scorecard num relance
| Técnica | Mexe a agulha? | Porquê |
|---|---|---|
| Prompt « não inventes » | Fumo | Pede honestidade a um sistema sem dado |
| Baixar a temperatura | Fumo | Controla a variabilidade, não a verdade |
| Modelo mais novo/maior | Depende | Melhora o saber geral, não os teus dados |
| Fine-tuning para factos | Fumo | Ensina estilo, não factos frescos citáveis |
| Grounding / RAG | Sim | O facto vive fora do modelo, na tua base |
| Citações verificáveis | Sim | Torna a alucinação auditável |
| Abstenção (« não sei ») | Sim | Mata a resposta falsa com aplomo |
| Humano onde o erro custa | Sim | Travão só no caro ou irreversível |
| Evals / medir a taxa | Sim | Sem número não sabes se o resto funciona |
A checklist de produção
Se vais pôr IA em produção e não queres que a alucinação chegue ao cliente, este é o mínimo exigível: grounding sobre os teus documentos, citações em cada resposta, abstenção configurada, um humano nos pontos caros e uma eval que meça a taxa todas as semanas. O resto —prompts, temperatura, o modelo do mês— é afinação, não alicerce. E atenção: uma IA que alucina é só um sintoma de um problema maior, o dado sujo e o projeto sem dono, que contamos em porque falham os projetos de automação com IA.
Montar essas cinco peças e sustentá-las é exatamente o que fazemos em infraestrutura de IA empresarial: não te entregamos um modelo que promete não mentir, deixamos-te um sistema que sabe quando se calar e mostra de onde sai cada resposta. A diferença entre as duas coisas é a que separa uma demo de um sistema em produção.