Sai um modelo novo, encabeça a tabela, e em poucas horas alguém na tua empresa reencaminha o gráfico com um «devíamos mudar para este». A tabela é bonita, as barras são mais longas que as do mês passado, e a conclusão parece óbvia: quem pontua mais alto é o melhor, logo é o que há que usar. Um raciocínio limpo, rápido, e quase sempre errado.
A tese numa frase: os benchmarks de LLM para empresa não preveem o teu resultado. O número um do ranking ganha um exame padronizado —perguntas de concurso, problemas de código de brincar, enigmas de lógica— que não se parece nada com o teu trabalho real. Quem rende no TEU caso decidem-no os teus dados, a tua tarefa concreta e o teu contexto, e esses três fatores não aparecem em nenhuma tabela pública. Escolher modelo pela tabela de líderes é começar no sítio errado, tal como escolher ferramenta antes de saber o que vais automatizar.
Porque os benchmarks de LLM para empresa não preveem o teu resultado
Um benchmark é um exame: um conjunto fixo de perguntas com respostas conhecidas, igual para todos os modelos, que produz um número comparável. Isso é ótimo para o que é —comparar modelos entre si numa prova comum— e inútil para o que a gente acredita que faz: dizer qual vai funcionar na tua empresa. Porque a tua empresa não pede ao modelo que resolva enigmas de matemática de olimpíada; pede-lhe que leia os teus emails, perceba o teu jargão, classifique os teus documentos e não invente dados do teu catálogo. Nada disso está no exame.
Há ainda um problema mais incómodo: o exame vaza. Quando um benchmark é famoso, as suas perguntas acabam, de uma forma ou de outra, nos dados com que se treinam os modelos seguintes. O resultado é que pontuar alto numa prova conhecida mede, em parte, quanto o modelo viu dessa prova —não quanto raciocina sobre algo que nunca viu, que é exatamente o que lhe vais pedir—. A tabela premeia quem decorou o exame. O teu trabalho é o exame que nenhum modelo viu.
O benchmark mede um exame; a tua empresa é outra coisa
Pensa na diferença entre um candidato com nota máxima num teste padronizado e o que faz mesmo bem o teu trabalho. Nem sempre são a mesma pessoa, pela mesma razão: o teste mede uma capacidade geral e sem contexto, o trabalho real mede o encaixe com um problema concreto. Um modelo pode ser brilhante a raciocinar no abstrato e medíocre a resumir as atas das tuas reuniões porque não conhece as tuas siglas, o teu tom nem o que é importante para ti. Outro, mais modesto na tabela, pode acertar a tua tarefa porque encaixa melhor na forma dos teus dados.
Isto liga-se a um erro de ordem que afunda projetos inteiros, bem contado no guia sobre porque falham os projetos de automação com IA: escolhe-se a tecnologia antes de perceber o problema. Começar por «qual é o melhor modelo?» é a versão fina do mesmo erro. A pergunta útil não é qual ganha a tabela, é qual resolve a tua tarefa com os teus dados —e essa resposta não está publicada em lado nenhum, há que tirá-la.
O que prevê o teu resultado: os teus dados, a tua tarefa, o teu contexto
Se a tabela de líderes não manda, o que manda? Três coisas, e nenhuma cabe numa barra colorida:
- Os teus dados. O modelo vai trabalhar sobre a TUA informação —o teu catálogo, os teus emails, os teus documentos, o teu jargão interno—, não sobre o corpus limpo do exame. Um modelo que brilha em texto de manual pode tropeçar nos teus PDFs mal digitalizados e nas tuas tabelas estranhas. A qualidade e a forma dos teus dados preveem o resultado mais do que qualquer ranking. Por isso o primeiro trabalho não é escolher modelo, é olhar para os dados.
- A tua tarefa concreta. «Escrever bem» não é uma tarefa; classificar tickets, extrair campos de uma fatura ou redigir com o teu tom, sim. Os modelos não rendem igual em todas: um ganha a classificar, outro a resumir, outro a raciocinar por passos. O que ganha a tua tarefa não é o que ganha a média do exame; é o que ganha AQUELA coluna, que a tabela agregada esconde.
- O teu contexto. Custo por uso, latência aceitável, se o dado pode sair do teu perímetro ou não, se precisas de o auto-hospedar, que integrações tens. Um modelo um pouco pior mas que corre dentro da tua nuvem e cumpre o teu RGPD pode ser a escolha certa face ao número um que não podes usar. O contexto não é um detalhe: muitas vezes é o que decide.
O único benchmark que importa é o que corres tu
A conclusão prática não é «ignora os modelos», é «monta o teu próprio exame». Pegas na tua tarefa real, preparas um conjunto de casos teus —com as respostas que consideras corretas— e passas por aí os dois ou três modelos candidatos. Numa tarde tens o que nenhuma tabela de líderes te dá: qual rende no TEU trabalho, com os TEUS dados, a um custo que podes pagar. Isso é um eval, e é a diferença entre escolher com critério e escolher pela barra mais longa do gráfico desta semana.
E esse eval não é um luxo de laboratório: é a mesma disciplina de decidir bem que processos automatizar com IA —primeiro a tarefa, depois o «com quê»—. Tem ainda uma vantagem que a tabela nunca terá: é estável. A tabela muda todos os meses e empurra-te a perseguir o modelo da moda; o teu eval sobre a tua tarefa continua válido quando sair o próximo número um, porque mede a única coisa que não muda: o teu problema.
Então, para que servem os benchmarks?
Não para nada. Servem para o que são: um filtro grosso e um mapa do terreno. Dizem-te que modelos estão na conversa, descartam os que vão claramente atrás e dão-te uma intuição de onde está a fronteira. Como primeira triagem —«estes cinco valem uma olhada»— são úteis. O erro não é ler a tabela; é tratá-la como a resposta final em vez do ponto de partida. A tabela de líderes diz-te quem convidar para a prova; o teu eval decide quem contratas.
Há uma razão de fundo por que nos esquecemos disto: escolher o modelo de topo sabe a progresso, é grátis e não dá trabalho; montar o teu eval é aborrecido e obriga-te a olhar para os teus próprios dados. Mas é o mesmo autoengano que conta o post sobre porque a adoção, não o modelo, decide o ROI da IA: a parte que decide o resultado é sempre a que não sai no keynote. O modelo é a última decisão, não a primeira, e de certeza não a que se toma a olhar para uma tabela.