Solução · AI Operations

Avaliar a qualidade dos teus agentes de IA: a função que os mede, vigia e corrige em produção — antes de o erro chegar ao cliente

Um agente que passou a demo não é um agente que funciona em produção: degrada-se sozinho quando muda o modelo, o prompt ou o mundo, e ninguém dá por isso até um cliente se queixar. Avaliar a sua qualidade não é um teste que se faz uma vez; é uma função que corre — amostrar, pontuar contra um critério, detetar regressões e corrigir — para que a qualidade deixe de ser uma impressão e passe a ser um número que vigias.

Montem no meu negócio Ver como funciona

O problema

A qualidade de um agente não se mede quando acerta na demo. Mede-se quando hesita em produção — e hoje ninguém olha.

O agente passou a demo e deu-se por bom; desde então ninguém sabe se continua a responder bem, porque não há forma de o medir a não ser esperar que alguém se queixe.
Mudaram o modelo, ajustaram um prompt ou o fornecedor atualizou por conta própria, e o comportamento mudou sem que ninguém o comparasse com o de antes: a regressão descobre-se num cliente, não num teste.
O único sinal de qualidade são as queixas, que chegam tarde e só da ponta do icebergue; os erros silenciosos — a resposta plausível mas errada — ninguém os vê.
Quando é preciso decidir se uma mudança vai para produção, não há número que a sustente: sobe-se por intuição e reza-se, porque não existe um critério contra o qual pontuar antes de largar.

O custo de continuar igual

Um agente sem evals não é um sistema, é uma aposta que se degrada sozinha. O custo não é só o erro pontual: é não saber se o teu agente está melhor ou pior do que na semana passada e, portanto, não poder melhorá-lo nem defender que funciona. Quando a única métrica é a queixa, cada regressão paga-a um cliente antes de um painel, a confiança no agente cai e a reação por defeito é a pior — desligá-lo ou deixá-lo a definhar sob supervisão manual, o que é deitar fora o investimento. E como o modelo, o prompt e o mundo mudam a cada poucas semanas, uma qualidade validada há três meses não diz nada sobre a de hoje.

A solução

Montamos e operamos a função de avaliação dos teus agentes — evals contínuas: amostrar, pontuar, detetar regressões, gate e corrigir — para que a qualidade deixe de ser uma impressão e passe a ser um número que vigias e defendes

1Definimos o critério: o que é uma boa resposta para o teu caso — exatidão, tom, segurança, formato, políticas — traduzido numa grelha e num conjunto de casos de teste com as respostas certas, as tuas, não genéricas.
2Amostramos e pontuamos em contínuo: pegamos em conversas reais de produção, avaliamo-las contra a grelha — com juízes automáticos e revisão humana onde importa — e transformamos a qualidade numa métrica seguida ao longo do tempo, não num episódio.
3Detetamos regressões e deriva: cada mudança de modelo, prompt ou ferramenta é pontuada contra o critério ANTES de ir para produção (gate), e em produção disparam alertas quando a qualidade cai, mesmo que ninguém se tenha queixado ainda.
4Fechamos o ciclo: cada falha detetada alimenta ações corretivas — ajuste de prompt, novo exemplo, barreira — e volta ao conjunto de casos, assim o agente melhora em vez de se degradar. Tudo medido: taxa de aprovação por grelha, regressões apanhadas antes da produção, deriva detetada e tempo até corrigir.

O que muda

O que deixas de perder

A qualidade deixa de ser uma impressão: passa a ser uma métrica seguida ao longo do tempo, assim sabe-se se o agente está melhor ou pior do que na semana passada antes de o dizer um cliente.
Mecanismo
As regressões apanham-se antes da produção: uma mudança de modelo ou de prompt é pontuada contra o critério e só vai para produção se não piorar, em vez de descobrir a falha num cliente.
Mecanismo
O erro silencioso deixa de se esconder: a amostragem contínua faz emergir a resposta plausível mas errada que as queixas não capturam, porque quase ninguém reclama — simplesmente vai-se embora.
Mecanismo
O que medimos: taxa de aprovação por grelha, regressões apanhadas antes da produção, deriva detetada em contínuo e tempo desde a falha até à correção.
O que medimos

Ficha técnica

Trabalho que elimina: que a qualidade dos teus agentes de IA em produção não seja medida por ninguém e só se descubra quando um cliente se queixa, sem critério, sem amostragem e sem gate antes de implementar uma mudança
Implementação habitual: 2–4 semanas
Entrada: as conversas reais dos teus agentes em produção, as mudanças de modelo, prompt e ferramentas que se implementam, e as queixas que chegam tarde e só da ponta do icebergue
Saída: a qualidade de cada agente pontuada em contínuo contra uma grelha tua, com regressões apanhadas antes da produção, deriva detetada com alerta e um ciclo de correção que volta ao conjunto de casos
Compatível com: OpenAIAnthropicAzure OpenAIAmazon BedrockGoogle Vertex AI
Pode ligar-se a: Os teus agentes e os seus registos de produçãoOs teus frameworks de evals (LangSmith, Promptfoo, Braintrust)O teu painel de qualidade e o teu gate de implementação
O que medimos: taxa de aprovação por grelharegressões apanhadas antes da produçãoderiva detetada em contínuotempo desde a falha até à correção
Adequado para: empresas com um ou vários agentes de IA em produção cuja qualidade hoje ninguém mede de forma sistemática e que precisam de a governar — medi-la, vigiá-la e defendê-la — antes de escalar
Não adequado para: quem ainda está em protótipo sem tráfego real para amostrar, ou quem procura uma única auditoria pontual em vez de uma função de qualidade que corra em contínuo

Perguntas frequentes

Testá-lo uma vez é a foto do dia do lançamento; isto é o filme. Um agente em produção degrada-se sozinho quando o modelo muda, se ajusta um prompt ou o mundo se mexe, por isso um teste de lançamento não diz nada sobre a qualidade daqui a três semanas. O que montamos corre em contínuo: amostra conversas reais, pontua-as contra o teu critério e avisa quando a qualidade cai. O teste inicial é um ponto; a função é a linha.

Tu, e deixamo-lo por escrito antes de medir seja o que for. A grelha — exatidão, tom, segurança, formato, as tuas políticas — e o conjunto de casos com as respostas certas saem do teu negócio, não de um modelo. Nós pomos o método — juízes automáticos para o volume, revisão humana onde importa — e a disciplina para que o critério não o invente cada um. Sem um critério teu, «qualidade» é uma opinião; com ele, é um número.

Nem às cegas nem nada: usamo-los para o que fazem bem — passar muito volume contra critérios claros — e calibramo-los contra revisão humana numa amostra, para saber quanto acertam. O delicado ou o ambíguo vai sempre a uma pessoa. O objetivo não é substituir o critério humano por uma IA juíza, é escalá-lo: uma amostra revista por pessoas marca a fasquia e o juiz automático aplica-a ao resto, vigiado.

Com os que já tens. Trabalhamos sobre os teus agentes e os seus logs de produção e sobre frameworks de evals padrão — LangSmith, Promptfoo, Braintrust e semelhantes — seja qual for o teu fornecedor de modelos. Não te pedimos para refazer o agente nem mudar de ferramenta: montamos a função de avaliação em cima do que já corre em produção.

Montamos no teu negócio?

Localizaste o problema. Nós entregamos a solução e deixamo-la medida.

Ver o serviço