Para evitar que um agente de IA invente valores numa fatura, numa encomenda ou num pedido de cliente, não basta escolher um modelo melhor. É preciso desenhar o processo à volta do modelo, exigindo que cada valor venha acompanhado da frase do documento onde foi lido, deixando os cálculos e as conferências a regras fixas e enviando para uma pessoa tudo o que não tem origem comprovada.
Este artigo explica porque é que os modelos de linguagem por vezes inventam valores, que regras práticas reduzem esse risco e como se organiza um processo em que a IA propõe e a plataforma decide o que se executa.
Porque é que um agente de IA pode inventar valores?
Um modelo de linguagem gera a resposta mais provável para o texto que recebe. Na maior parte dos casos, essa resposta coincide com o que está no documento. Mas quando o documento está mal digitalizado, tem dois totais, mistura moedas ou simplesmente não traz o valor pedido, o modelo pode preencher o espaço com um número plausível. É a isto que se chama alucinação.
Num processo administrativo, um valor plausível e errado é pior do que um valor em falta. Um total trocado numa fatura de fornecedor, uma quantidade errada numa encomenda ou um NIB inventado passam despercebidos se ninguém os confrontar com o documento original.
- Documentos ambíguos. Faturas com descontos, portes e totais parciais oferecem vários números candidatos.
- Informação em falta. Um email que pede «o mesmo da última vez» não diz quantidades.
- Pedidos ao modelo que vão além da leitura. Quando se pede à IA que some, converta ou confira, aumenta o espaço para erro.
Como exigir a origem de cada valor?
A regra mais eficaz é simples de enunciar. Nenhum valor entra num sistema sem a frase do documento de onde foi tirado. O agente devolve o valor e a citação, e a plataforma confirma que essa frase existe mesmo no email ou no documento.
- O agente lê o documento e propõe cada campo, como o fornecedor, o número da fatura, as linhas e o total.
- Para cada campo, indica a frase exata onde o encontrou.
- A plataforma procura essa frase no documento original.
- Se a frase não existir, o valor não segue e o caso vai a uma pessoa.
Esta verificação não depende da boa vontade do modelo. É feita fora da IA, por uma regra que se comporta sempre da mesma maneira, e torna a revisão humana muito mais rápida, porque quem decide vê logo de onde veio cada número.
Que trabalho deve ficar fora da IA?
A IA é boa a ler texto desorganizado. Não é a ferramenta certa para fazer contas nem para conferir valores. Por isso, numa arquitetura bem desenhada, a IA lê e a plataforma calcula.
| Tarefa | Quem a deve fazer |
|---|---|
| Interpretar um email ou um documento | A IA, com a frase de origem de cada valor |
| Somar linhas, aplicar descontos e calcular impostos | Regras da plataforma, sem IA |
| Conferir a fatura com a encomenda e a receção | Regras da plataforma, sem IA |
| Ligar movimentos bancários a faturas | Regras da plataforma, sem IA |
| Ver disponibilidades de agenda | Regras da plataforma, sem IA |
| Decidir um caso duvidoso | Uma pessoa da equipa |
As regras da empresa, como tolerâncias, fornecedores de confiança ou limites de valor, devem estar geridas em conjuntos com versões. Assim, o histórico de cada caso indica a regra que foi aplicada, e uma alteração amanhã não muda o que foi decidido ontem.
Como limitar o que o agente pode executar?
Mesmo com valores corretos, a pergunta seguinte é o que o agente pode fazer com eles. A resposta segura é que a IA não executa nada por si. Só se executam as ações que a empresa declarou para cada sistema, na versão publicada de cada processo.
- Ações declaradas. Criar uma encomenda no ERP ou responder a um cliente são passos configurados, sem código nem comandos livres gerados pelo modelo.
- Limites de valor. Uma regra como «acima deste valor, pedir aprovação» suspende o caso antes do passo, até uma pessoa aprovar.
- Escritas que não se repetem sozinhas. Se o processo for interrompido a meio, uma pessoa decide se a escrita já foi feita, em vez de o sistema tentar outra vez e duplicar o registo.
Imagine uma distribuidora que recebe encomendas por email. O agente lê uma encomenda de 40 caixas, cita a linha onde está a quantidade, a plataforma calcula o total com a tabela de preços e, como o valor passa o limite definido pela empresa, o caso fica à espera da aprovação do responsável comercial antes de entrar no ERP.
Quando deve o caso ir a uma pessoa?
O objetivo não é eliminar a intervenção humana, é usá-la onde faz diferença. Um caso deve ir a uma pessoa quando falta a origem de um valor, quando há dúvida na interpretação ou quando um limite definido pela empresa o exige.
Nesses momentos, a pessoa deve receber o caso com o que já foi feito e a decisão que falta, e não um documento em bruto para recomeçar do zero. Cada decisão humana fica no histórico do caso, com a alteração e o motivo, e as correções da equipa passam a orientar os casos seguintes.
Como aplica o EngiAIFlow estas regras?
No EngiAIFlow, a IA propõe e a plataforma decide o que se executa. Cada valor que a IA extrai de um email ou de um documento é acompanhado da frase onde foi lido, e a plataforma confirma que essa frase existe. Sem frase, o valor é encaminhado para uma pessoa. Os cálculos, as disponibilidades de agenda, a reconciliação bancária e a conferência de faturas são feitos pela plataforma, sem IA.
Só são executadas as ações declaradas para cada sistema, os limites de valor suspendem o caso até haver aprovação e uma escrita num sistema ligado nunca se repete automaticamente. Cada caso é concluído com a versão das ações e das regras com que foi iniciado, e o histórico regista o que foi feito em cada passo e cada decisão humana.
Perguntas frequentes
O que é uma alucinação de um modelo de IA?
É uma resposta plausível mas sem base no texto recebido, por exemplo um total ou uma quantidade que não está no documento. Acontece sobretudo com documentos ambíguos ou incompletos.
Um modelo mais recente deixa de inventar valores?
Reduz o risco, mas não o elimina. A proteção eficaz está no processo à volta do modelo, como exigir a origem de cada valor e confirmar que ela existe no documento.
Porque é que os cálculos não devem ser feitos pela IA?
Porque regras fixas dão sempre o mesmo resultado para os mesmos dados. A IA deve ler e propor, e somas, impostos e conferências devem ser feitos pela plataforma.
A revisão humana não anula o ganho da automação?
Não, se só chegarem a uma pessoa os casos sem origem comprovada, com dúvidas ou acima de um limite. Os restantes seguem sozinhos, e a pessoa recebe o caso já preparado.
O que acontece se um processo parar a meio de uma escrita no ERP?
No EngiAIFlow, uma escrita num sistema ligado nunca se repete automaticamente. Uma pessoa decide se a escrita já foi efetuada, o que evita registos duplicados.