Agentes que admitem não saber: a abordagem anti-alucinação

O que é alucinação em agentes de IA?

Alucinação é a resposta que soa plausível, mas não tem base nos dados. Em um chat de conversa, ela é incômoda. Em um agente que opera dentro de uma empresa, é um risco: um "foi cadastrado com sucesso" que nunca aconteceu, um valor sem origem ou um documento "anexado" que não existe levam pessoas a decidir com informação falsa.

O objetivo da abordagem descrita aqui é reduzir esse risco e tornar a ocorrência visível. Nenhuma técnica elimina alucinação por completo, e o texto deixa claro onde cada camada para de ajudar.

Primeira camada: ler antes de afirmar

Os prompts dos agentes impõem uma regra simples. Perguntas sobre dados reais exigem a chamada da ferramenta correspondente na mesma resposta, e "vou verificar" é proibido, porque verificar é agora. Os passos exibidos na tela refletem apenas ferramentas realmente executadas.

A LILITH, o agente de memória, é o caso mais claro. Ela não pode inventar memórias, datas ou perfis, e se a ferramenta devolve vazio, a resposta correta é dizer que não há registro. O Cérebro, por sua vez, só aceita respostas que citem ao menos uma fonte numerada existente. Sem citação válida, volta uma resposta de fallback, e o caso é registrado.

O mesmo vale para o assistente embutido em sites: ele é instruído a não inventar funcionalidades que não estejam em sua base de conhecimento e, fora do escopo configurado, a usar a mensagem de fallback em vez de improvisar uma resposta.

Segunda camada: detectores determinísticos

Depois que o agente responde, regras de código, sem modelo de linguagem, procuram padrões que só são aceitáveis quando uma ferramenta de fato rodou.

• Promessa vazia: "vou consultar", "deixa comigo" ou "aguarde um momento" sem nenhuma ferramenta executada.
• Falso sucesso: "foi cadastrado", "registrado com sucesso" sem que uma ferramenta de escrita tenha rodado, inclusive em cartões visuais de resultado.
• Falso entregável: "documento gerado" ou "segue em anexo" sem ferramenta de geração.
• Dado inventado após falha: cartão ou texto com valores e identificadores quando a integração real falhou.
• Conector inexistente: botões de conexão para serviços que não existem são removidos da resposta.

Terceira camada: número sem fonte

Na ELISA e na DAISY, um verificador extrai os números relevantes (dois ou mais dígitos, ou percentuais) da mensagem e das métricas e confere se aparecem nos resultados das ferramentas ou no texto do próprio usuário. O que não aparece volta para revisão, com a lista dos números suspeitos.

Essa checagem é literal: procura o valor nos dados reais. Ela não entende o significado do número, mas pega o caso mais comum e mais perigoso, o valor que o modelo "completou" por conta própria.

Um exemplo ilustrativo: se o agente escreve que 12 contratos estão vencidos e nenhuma ferramenta devolveu essa contagem, a resposta é devolvida para revisão antes de chegar ao usuário. Se o número 12 aparece no resultado da consulta, ela segue normalmente. Números de um só dígito não entram na checagem, para evitar falsos alarmes.

Como a PowerVizion aborda a correção e a transparência

Quando um detector dispara, a resposta vai a um agente revisor, o Critic, que reescreve com instruções específicas sobre o problema encontrado. Há uma única tentativa. Se a resposta reincide na mesma classe de erro, o texto do modelo é descartado e o usuário recebe uma mensagem honesta, em que o agente diz que não conseguiu confirmar a ação com uma ferramenta real e oferece tentar de novo ou revisar os dados juntos.

Respostas idênticas à anterior também passam por revisão, para quebrar loops. Cada disparo é gravado em uma telemetria por workspace, com o tipo (número sem fonte, falso sucesso, conector inexistente ou loop), o agente, o detalhe e um trecho. Há totais, série dos últimos 7 dias e amostras recentes, expostos por uma rota de API, para acompanhar se a taxa cai a cada ajuste.

Quando o problema persiste, a resposta final carrega uma marca de auditoria que indica o motivo da sinalização e se ele ficou sem resolução. Assim, quem revisa depois sabe quais respostas passaram por correção e por quê.

Limites atuais

Os detectores usam padrões de texto em português e podem tanto disparar sem necessidade quanto deixar passar uma formulação nova. O verificador de números só roda quando o agente usou ferramentas, e confirma presença, não correção. Uma ferramenta que devolve um dado errado ainda produz uma resposta "com fonte" errada.

A telemetria conta o que foi capturado, e a maior parte das correções acontece antes de a resposta chegar à tela. Ela mostra tendência, não a taxa verdadeira de erro. Por isso, em decisões de alto impacto, o princípio da PowerVizion continua valendo: o agente propõe, e uma pessoa aprova depois de conferir a fonte.

Há ainda um limite de escopo. Parte dessas proteções depende do chat de cada agente, e nem todas rodam em todos os agentes: o verificador de números, por exemplo, está na ELISA e na DAISY. Vale ter isso em mente ao interpretar a telemetria de cada agente.

Perguntas frequentes

O que é alucinação em IA?

É quando um modelo afirma algo que não tem base nos dados, como um valor inventado, uma ação que nunca ocorreu ou um arquivo que não existe, num tom que parece confiável.

A PowerVizion elimina alucinações?

Não. Ela reduz o risco com leitura de fonte antes da afirmação, detectores de falso sucesso e de número sem fonte, revisão pelo Critic e telemetria, mas nenhuma técnica elimina o problema por completo.

O que o agente faz quando não consegue confirmar algo?

Diz isso com clareza. Depois de uma correção que não resolve, ele descarta o texto problemático e informa que não conseguiu confirmar a ação com uma ferramenta real, oferecendo tentar de novo.

Dá para acompanhar quantas vezes um agente alucinou?

Há uma telemetria por workspace com totais por tipo e por agente, série dos últimos 7 dias e amostras recentes, disponível por uma rota de API.