A tese numa frase: a partir de certo volume, rever tudo à mão deixa de ser revisão e passa a ser um carimbo. Se queres continuar a olhar para o que o teu agente faz, a segunda linha tem de ser automática — e tem de ser outro agente, não o mesmo com outra pergunta.
O teu processo de revisão foi desenhado quando o agente fazia doze coisas por dia. Uma pessoa lia as doze, corrigia duas e aprendia alguma coisa pelo caminho. Funcionava. Oito meses depois o agente faz quatrocentas e a pessoa continua a ser a mesma, com a mesma agenda e as mesmas reuniões. Ninguém mudou o procedimento: continua a marcar tudo como «revisto». O que mudou foi o significado dessa palavra.
Aqui não há má-fé, há aritmética. Quatrocentas saídas a dois minutos de leitura honesta são mais de treze horas. Ninguém tem treze horas, por isso acontece o que acontece sempre: lê-se a primeira linha, confirma-se que o formato bate certo, aprova-se. O controlo continua a existir no organigrama e deixou de existir na realidade.
O que é um agente supervisor de IA e o que verifica exatamente
Um agente supervisor de IA é um segundo agente cujo único trabalho é olhar para o que o primeiro produziu antes de a ação sair, confrontá-lo com uma política escrita e emitir um veredicto: passa, bloqueia ou escala para uma pessoa. Não gera. Não reescreve. Não opina sobre se podia soar melhor. Decide uma coisa só: se isto pode sair.
O que verifica é deliberadamente aborrecido, e é exatamente por isso que funciona. Quatro perguntas fechadas, com resposta verificável:
- Que o que afirma exista. Cada número, nome, data ou referência da saída tem de poder ser apontado numa fonte realmente consultada. Se aparece um número que não está em nenhum documento recuperado, não é um número: é uma invenção com formato de número.
- Que a ação esteja dentro do permitido. Que ferramenta chamou, sobre que registo, com que montante, em nome de quem. A política diz o que pode tocar; o supervisor verifica que aquilo que vai tocar está nessa lista e não noutra.
- Que o caso se pareça com o que a política previu. Idioma, tipo de cliente, jurisdição, tamanho da operação. Um caso fora do previsto não está necessariamente errado: está por cobrir, que é outra coisa e trata-se de outra maneira.
- Que nenhum passo obrigatório tenha sido saltado. Se o procedimento diz que antes de responder a uma reclamação se consulta o histórico, o supervisor confirma se o consultou. É a verificação mais parva das quatro e a que dispara mais vezes.
Repara no que NÃO está nessa lista: «que a resposta seja boa». A qualidade média de um sistema mede-se com avaliações sobre casos guardados, antes de ir para produção, e isso é outra disciplina que desenvolvemos em as avaliações sem as quais não sabes se a tua IA funciona. Um supervisor não mede médias. Olha para este caso, agora, e decide se sai.
Porque não basta que o agente se reveja a si próprio?
Porque o enviesamento está medido e tem nome. Em Self-Preference Bias in LLM-as-a-Judge (Wataoka, Takahashi e Ri), os autores propõem uma métrica para o quantificar e concluem que o GPT-4 pontua significativamente melhor as saídas geradas por ele próprio; a hipótese deles é que os modelos favorecem aquilo que lhes é familiar, medido como menor perplexidade. Fonte: Self-Preference Bias in LLM-as-a-Judge, arXiv, 29 de outubro de 2024 (revisto em junho de 2025). É um resultado técnico, não um dado de mercado: vale em Lisboa tal como em Madrid.
Traduzido para o teu processo: pedir a um agente que se audite é pedir-lhe que duvide da frase que há dois segundos lhe parecia a coisa mais natural do mundo. Vai fazê-lo, numa percentagem dos casos, com muito aprumo e pouquíssima utilidade.
O problema do modelo partilhado é o mais citado, mas não é o pior. O pior é o contexto partilhado. Se o erro nasce de um documento mal recuperado, um revisor que lê exatamente esse mesmo documento mal recuperado vai confirmar o erro com entusiasmo e marcá-lo como verificado. A independência aqui não é um princípio moral: é a condição matemática para que o segundo olhar traga informação que o primeiro não tinha.
Em paralelo, ou entre o agente e o sistema de destino?
É a decisão de arquitetura mais discutida e pior argumentada, porque é posta como questão técnica quando é uma questão sobre que erro podes pagar. Só há duas posições.
| Em paralelo (observador) | Pelo meio (porteiro) | |
|---|---|---|
| O que acontece se falhar | A ação já saiu; ficas a saber depois | A ação não sai; o processo para |
| Latência acrescentada | Nenhuma: corre depois | Mais uma verificação em cada operação |
| Que erro evita | Nenhum; documenta-os e deixa-te corrigir | Os irreversíveis, que são os que interessam |
| Custo de um falso positivo | Baixo: um alerta a mais | Alto: bloqueaste trabalho bom |
| Onde faz sentido | Ações reversíveis, volume alto, fase de rodagem | Dinheiro, terceiros, dados regulados |
A nossa regra é curta: o supervisor fica pelo meio só onde a ação é irreversível ou sai da empresa. Em tudo o resto fica ao lado. E começa-se em paralelo mesmo que se vá acabar pelo meio, porque nas duas primeiras semanas o trabalho dele não é bloquear: é mostrar-te quantas vezes teria bloqueado e com que motivos. Pô-lo de porteiro ao primeiro dia é instalar um travão com uma taxa de falsos positivos desconhecida.
Isto não é uma decisão de tecnologia, é uma decisão de autonomia, e vem colada à que já tomaste ao fixar os níveis de autonomia de um agente: quanto mais solta corre a primeira linha, mais justificado está pôr a segunda no caminho.
Passar, bloquear ou escalar: não há uma quarta saída
Um supervisor com mais de três veredictos é um supervisor com opiniões. Os três, e o que cada um obriga a construir:
- Passa. A ação sai e fica registado que passou pelo supervisor, contra que versão de política e com que resultado. Um «passa» sem rasto não serve de nada: daqui a seis meses, a distância entre «foi revisto» e «consegue-se demonstrar que foi revisto» é toda a distância. Esse registo é exatamente a rastreabilidade das decisões de IA.
- Bloqueia. A ação não sai. Volta ao primeiro agente com o motivo concreto — que verificação falhou e sobre que dado — e tenta-se uma vez. Se voltar a falhar, sobe. Um bloqueio silencioso que ninguém conta é uma fuga: o trabalho para, o cliente espera e ninguém dá por isso até ele telefonar.
- Escala. Vai para uma pessoa com o caso já montado: o que o agente propunha, que verificação falhou, o que diz a política e o que se propõe fazer. Escalar não é reencaminhar. É chegar com o trabalho feito para que decidir custe um minuto e não vinte.
A métrica que conta num supervisor não é quantas ações bloqueou: é quantas escalou e quanto tempo demoraram a fechar. Se escala 40 %, não puseste uma segunda linha, mudaste o estrangulamento de sítio. Se escala 0,5 %, ou o teu sistema é impecável ou a tua política é tão larga que não verifica nada. O intervalo saudável parece-se muito mais com o primeiro dígito do que com o segundo, e afina-se lendo as escalações uma a uma nas primeiras semanas.
A política contra a qual compara não cai do céu: é a que já escreveste ao definir as instruções de um agente de IA, com uma condição inegociável — escrita à parte, versionada à parte. Se o supervisor herda o mesmo documento, herda também os seus pontos cegos, e um ponto cego herdado nunca é detetado.
Os três casos em que continua a ser preciso uma pessoa
Um supervisor automático não elimina o humano: muda-lhe a dieta. Em vez de passar os olhos por quatrocentas coisas, lê vinte a sério. E há três situações em que essas vinte não se negoceiam.
- O montante passa de um limiar. Não porque o agente se engane mais com 40.000 € do que com 400, mas porque o custo do erro já não é absorvido pelo processo: é absorvido pela conta de resultados. O limiar é uma decisão de negócio, escreve-se em euros e revê-se todos os trimestres. Onde fica essa pessoa sem se tornar o travão de tudo o resto é o desenho do humano no ciclo de uma automatização.
- A responsabilidade é juridicamente indelegável. Aqui não há margem de desenho, porque a norma nomeia pessoas. O regulamento europeu da IA, no seu artigo 14, exige para os sistemas de identificação biométrica do ponto 1(a) do anexo III que nenhuma decisão seja tomada sem que a identificação tenha sido verificada e confirmada em separado por pelo menos duas pessoas singulares com a competência, formação e autoridade necessárias. Fonte: Artigo 14 — Supervisão humana, Regulamento (UE) 2024/1689. Em Espanha, a AEPD acrescenta o princípio dos quatro olhos — dupla verificação por duas pessoas diferentes — para processos automáticos com grande impacto em direitos, nas suas orientações sobre IA agêntica (versão 1.2, fevereiro de 2026). Duas pessoas singulares são duas pessoas singulares: nenhum supervisor, por bom que seja, conta como uma.
- O caso não se parece com nada previsto. É o mais incómodo, porque não se consegue escrever numa regra de antemão. Um supervisor só sabe verificar contra o que a política contemplou; perante algo genuinamente novo, a única coisa correta é reconhecer que não está coberto e passá-lo adiante. Essa capacidade de dizer «isto não me compete» é a mesma que a primeira linha tem de ter, e está desenvolvida em o que faz um agente de IA quando não sabe. A diferença é que um supervisor tem de errar para cima: na dúvida, escala.
E onde é preciso a pessoa, é preciso a função, não o favor: alguém com critério escrito, fila, tempo de resposta comprometido e medição do seu próprio acerto. Isso é a supervisão humana de IA à escala, e não compete com o supervisor automático — torna-o utilizável. A máquina filtra os 95 % aborrecidos para que o critério humano caia inteiro sobre os 5 % que o merecem.
O que se parou, quanto valia, que prova fica
É aqui que a conversa se torce quase sempre, porque o supervisor é apresentado como assunto de segurança e morre no comité de segurança. É um assunto de negócio. Dois números para o dimensionar, ambos da Gartner e ambos de âmbito global — não são dados de Portugal: mais de 40 % dos projetos de IA agêntica serão cancelados até ao final de 2027 por custos crescentes, valor de negócio pouco claro ou controlos de risco inadequados (Gartner, 25 de junho de 2025); e as tecnologias de agentes guardiões representarão pelo menos 10 % a 15 % do mercado de IA agêntica em 2030 (Gartner, 11 de junho de 2025).
Lê-os juntos e a comédia aparece: o setor está ao mesmo tempo a matar projetos por falta de controlo e a montar uma categoria inteira para te vender esse controlo como produto. O que nenhum dos dois números te diz é quanto se para em tua casa. Esse número a Gartner não o tem. Tens tu, no teu histórico, e é o único sobre o qual se decide.
Por isso o painel de um supervisor não é técnico. São cinco números de negócio: quantas ações se pararam esta semana, de que tipo eram, quanto valiam, quantas se revelaram falsos alarmes e quanto demorou a fechar cada escalação. Com esses cinco pode ter-se a conversa a sério sobre dar mais autonomia ou menos. Sem eles só se discute por sensações, e nessa discussão ganha sempre quem fala mais alto.
Um aviso sobre o que isto não é: não é segurança. Um supervisor verifica contra uma política de negócio; não te defende de alguém que tenta enganar o sistema de propósito. Esse é outro problema, com outras ferramentas, outra equipa e outro orçamento, e tratamo-lo à parte em os riscos de agentes de IA que não se veem na demo. Confundir as duas coisas é a forma mais cara de acabar sem nenhuma.
O que eu faria na segunda-feira
Uma pergunta e uma experiência. A pergunta, com números e sem adornos: quantas saídas produz o teu agente por dia e quantas é que uma pessoa lê mesmo, de uma ponta à outra? Se ao multiplicares esse segundo número por dois minutos ultrapassares o tempo livre que essa pessoa tem, já sabes que a tua revisão é um carimbo e podes parar de ler aqui.
A experiência cabe em duas semanas e nunca toca na produção. Pega nas últimas quinhentas saídas do teu agente, tal como estão guardadas. Põe um segundo agente — outro modelo, outro prompt, a recuperar as fontes por sua conta — a verificar só três coisas: que os números existam na fonte, que a ação fosse permitida e que nenhum passo obrigatório tenha sido saltado. Conta quantas teria bloqueado e vai lê-las uma a uma. Se entre elas houver duas ou três que nunca deviam ter saído, o teu caso de negócio já está escrito, e não foste tu que o escreveste: foi o teu próprio histórico.
A pergunta do título tem uma resposta pouco heroica. A quem revê, revê-lo tu, sim — uma vez por semana e sobre uma amostra. O resto do tempo revê-o uma máquina diferente, com outra cabeça e outras fontes, contra uma política que escreveste no dia em que estavas tranquilo. Não é elegante. É a única coisa que aguenta quando o volume se multiplica por quarenta e o quadro de pessoal não.