Na demo, o número brilha: «95% de precisão». Aplausos, cabeças a acenar, alguém nota que é «quase perfeito». E parece —até o sistema entrar em produção e esses 95% se traduzirem no que de facto significam: uma resposta má em cada vinte. A cem casos por dia, são cinco erros diários. A mil, cinquenta. E ao contrário da demo, onde mostras os acertos, em produção as falhas não se escondem: caem à frente de um cliente, num email enviado, num dado que alguém acreditou.
A tese numa frase: a precisão da IA em produção não é um número que se persegue rumo aos 100, é um limiar que depende do custo do erro. 95% podem chegar numa tarefa e ser um desastre noutra, e o número sozinho —fora de contexto— não te diz qual dos dois é o teu. O que decide se o teu sistema está pronto não é quanto acerta, mas o que acontece quando erra e quem o vê.
O que significa mesmo a precisão da IA em produção
95% de precisão soam a distinção porque os lemos como nota de exame. Mas em produção não é uma nota, é uma taxa de falha distribuída sobre o volume. Os 5% que sobram não evaporam: acumulam-se caso a caso, dia após dia, e crescem com o tráfego. O sistema que no teste falhava «quase nunca» começa a falhar todos os dias assim que processa a sério, simplesmente porque há mais casos onde errar.
Há uma segunda armadilha na própria palavra «precisão»: é uma média, e as médias escondem. Uns 95% globais podem querer dizer que acertas 99% dos casos fáceis e 60% dos difíceis —justamente os que importam. Numa demo mostram-se os casos fáceis; em produção chegam os raros, os ambíguos, os imprevistos. Um número médio sem ver onde caem os erros é marketing, não uma medida de se o sistema aguenta.
O limiar não é um número, é o custo do erro
A pergunta útil não é «que precisão tem?», é «quanto custa cada erro e quem o sofre?». Os mesmos 95% são excelentes ou inaceitáveis conforme o que acontece quando falha. Aqui vai o mapa curto:
| O que faz o sistema | Custo de um erro | Chega um 95%? |
|---|---|---|
| Sugerir um rascunho que um humano revê antes de enviar | Baixo: corrigido antes de sair | Sim, de sobra |
| Classificar e encaminhar (tickets, documentos, leads) | Médio: re-encaminhado ou revisto | Normalmente sim |
| Responder a um cliente sem revisão humana | Alto: dano reputacional ou legal | Não |
| Decidir sobre dinheiro, saúde ou compliance | Crítico: irreversível ou sancionável | Nem de perto |
Repara que a tecnologia é a mesma nas quatro linhas; o que muda é a rede por baixo. Quando o erro é barato e alguém o apanha antes de sair, 95% são uma boa notícia. Quando o erro é caro e sai direto, sem revisão, esses mesmos 95% são uma bomba-relógio com contagem decrescente em função do volume. O limiar, portanto, não se herda do benchmark do fornecedor: decide-se tarefa a tarefa, olhando para o que acontece no dia em que erra.
Os 5% não desaparecem: gerem-se
Os 100% não existem, e persegui-los é a forma mais cara de nunca acabar. O trabalho a sério não é espremer mais duas décimas de precisão; é desenhar o que acontece aos 5% que vão sempre falhar. Um sistema em produção não se julga por quão bem vai quando acerta, mas por como se comporta quando erra. Constrói-se com quatro peças:
- Detetar a incerteza. Um bom sistema sabe quando não está seguro e di-lo, em vez de responder com a mesma confiança ao que domina e ao que ignora. Esse sinal dispara tudo o resto.
- Conter com revisão humana onde o erro é caro. Não em tudo —isso mata a poupança— mas justamente nos casos de alto custo. É o humano no ciclo posto onde de facto faz falta: filtrar os 5% perigosos, deixar passar os 95% seguros.
- Medir com casos reais, não os fáceis. Um sistema de avaliação que corre os teus casos difíceis —não uma amostra simpática— é a única coisa que te diz se os 95% são reais ou de montra.
- Delimitá-lo: que diga «não sei». Um sistema que admite não conseguir responder vale mais do que um que inventa com aprumo. O erro silencioso —o que parece correto e não é— é o mais caro de todos.
Esta é, aliás, a diferença entre um projeto que chega a produção e um que fica em piloto eterno. Os pilotos morrem quando alguém descobre que os 5% não estavam geridos e ninguém se atreve a soltá-los sem rede. É uma das razões de fundo de porque falham os projetos de automação com IA: não por falta de precisão, mas por falta de plano para o erro.
Porque o número do fornecedor mente um bocado
Quando um fornecedor te mostra «95%», quase nunca é sobre os teus dados: é sobre o benchmark dele, escolhido por ele, com uma distribuição de casos que não tem de se parecer com a tua. Os teus 95% reais podem virar 88% assim que lhe dás os teus casos raros, o teu jargão, as tuas exceções. Não necessariamente má-fé; é que a precisão não é uma propriedade do modelo, é uma propriedade do par modelo + os teus dados. Medi-la bem é correr avaliações sobre os teus casos antes de confiar no número, não depois da primeira queixa.
E um pormenor que poupa discussões: pede sempre que separem a precisão dos casos fáceis da dos difíceis. Se o fornecedor só tem a média global, não olhou para onde dói. Se a tem desagregada e ta mostra, estás a tratar com alguém que sabe o que vende.
Então, quando chega um 95%?
A resposta honesta em duas frases. Chega quando o erro é barato e há rede: um humano que revê o caro, uma nova tentativa, um «não sei» que evita inventar. Não chega quando o erro é caro e vai direto ao cliente sem ninguém a filtrá-lo. O número, sozinho, não te diz em qual dos dois mundos estás; diz-to o desenho à volta dos 5%. Por isso, quando alguém te vende uma percentagem como argumento final, a pergunta certa não é «de certeza que é 95?», é «e os outros 5?».