Para evitar que un agente de IA invente valores en una factura, un pedido o una solicitud de cliente, no basta con elegir un modelo mejor. Hay que diseñar el proceso alrededor del modelo, exigiendo que cada valor venga acompañado de la frase del documento donde se leyó, dejando los cálculos y las comprobaciones a reglas fijas y enviando a una persona todo lo que no tenga un origen comprobado.
Este artículo explica por qué los modelos de lenguaje a veces inventan valores, qué reglas prácticas reducen ese riesgo y cómo se organiza un proceso en el que la IA propone y la plataforma decide lo que se ejecuta.
¿Por qué puede un agente de IA inventar valores?
Un modelo de lenguaje genera la respuesta más probable para el texto que recibe. En la mayoría de los casos, esa respuesta coincide con lo que dice el documento. Pero cuando el documento está mal escaneado, tiene dos totales, mezcla monedas o simplemente no incluye el valor pedido, el modelo puede rellenar el hueco con un número verosímil. Es lo que se llama una alucinación.
En un proceso administrativo, un valor verosímil y erróneo es peor que un valor ausente. Un total cambiado en una factura de proveedor, una cantidad equivocada en un pedido o un número de cuenta inventado pasan desapercibidos si nadie los contrasta con el documento original.
- Documentos ambiguos. Las facturas con descuentos, portes y subtotales ofrecen varios números candidatos.
- Información que falta. Un correo que pide «lo mismo que la última vez» no indica cantidades.
- Pedir al modelo más que leer. Cuando se pide a la IA que sume, convierta o compruebe, aumenta el margen de error.
¿Cómo exigir el origen de cada valor?
La regla más eficaz es sencilla de enunciar. Ningún valor entra en un sistema sin la frase del documento de donde se tomó. El agente devuelve el valor y la cita, y la plataforma confirma que esa frase existe de verdad en el correo o en el documento.
- El agente lee el documento y propone cada campo, como el proveedor, el número de factura, las líneas y el total.
- Para cada campo, indica la frase exacta donde lo encontró.
- La plataforma busca esa frase en el documento original.
- Si la frase no existe, el valor no continúa y el caso pasa a una persona.
Esta comprobación no depende de la buena voluntad del modelo. Se hace fuera de la IA, con una regla que se comporta siempre igual, y hace que la revisión humana sea mucho más rápida, porque quien decide ve enseguida de dónde salió cada número.
¿Qué trabajo debe quedar fuera de la IA?
La IA es buena leyendo texto desordenado. No es la herramienta adecuada para hacer cuentas ni para comprobar valores. Por eso, en una arquitectura bien diseñada, la IA lee y la plataforma calcula.
| Tarea | Quién debe hacerla |
|---|---|
| Interpretar un correo o un documento | La IA, con la frase de origen de cada valor |
| Sumar líneas, aplicar descuentos y calcular impuestos | Reglas de la plataforma, sin IA |
| Cotejar la factura con el pedido y la recepción | Reglas de la plataforma, sin IA |
| Vincular movimientos bancarios con facturas | Reglas de la plataforma, sin IA |
| Consultar la disponibilidad de agenda | Reglas de la plataforma, sin IA |
| Decidir un caso dudoso | Una persona del equipo |
Las reglas de la empresa, como tolerancias, proveedores de confianza o límites de importe, deben gestionarse en conjuntos con versiones. Así, el historial de cada caso indica la regla aplicada, y un cambio mañana no altera lo que se decidió ayer.
¿Cómo limitar lo que el agente puede ejecutar?
Aunque los valores sean correctos, la siguiente pregunta es qué puede hacer el agente con ellos. La respuesta segura es que la IA no ejecuta nada por sí misma. Solo se ejecutan las acciones que la empresa ha declarado para cada sistema, en la versión publicada de cada proceso.
- Acciones declaradas. Crear un pedido en el ERP o responder a un cliente son pasos configurados, sin código ni comandos libres generados por el modelo.
- Límites de importe. Una regla como «por encima de este importe, pedir aprobación» suspende el caso antes del paso, hasta que una persona lo apruebe.
- Escrituras que no se repiten solas. Si el proceso se interrumpe a mitad, una persona decide si la escritura ya se hizo, en lugar de que el sistema lo intente otra vez y duplique el registro.
Imagine una distribuidora que recibe pedidos por correo. El agente lee un pedido de 40 cajas y cita la línea donde aparece la cantidad, la plataforma calcula el total con la tarifa de precios y, como el importe supera el límite fijado por la empresa, el caso espera la aprobación del responsable comercial antes de entrar en el ERP.
¿Cuándo debe un caso ir a una persona?
El objetivo no es eliminar la intervención humana, sino usarla donde marca la diferencia. Un caso debe ir a una persona cuando falta el origen de un valor, cuando hay dudas en la interpretación o cuando lo exige un límite fijado por la empresa.
En esos momentos, la persona debe recibir el caso con lo que ya se ha hecho y la decisión que falta, y no un documento en bruto para empezar de cero. Cada decisión humana queda en el historial del caso, con el cambio y el motivo, y las correcciones del equipo pasan a orientar los casos siguientes.
¿Cómo aplica EngiAIFlow estas reglas?
En EngiAIFlow, la IA propone y la plataforma decide lo que se ejecuta. Cada valor que la IA extrae de un correo o de un documento va acompañado de la frase donde se leyó, y la plataforma confirma que esa frase existe. Sin frase, el valor se deriva a una persona. Los cálculos, la disponibilidad de agenda, la conciliación bancaria y la comprobación de facturas los hace la plataforma, sin IA.
Solo se ejecutan las acciones declaradas para cada sistema, los límites de importe suspenden el caso hasta que hay aprobación y una escritura en un sistema conectado nunca se repite automáticamente. Cada caso se completa con la versión de las acciones y las reglas con la que se inició, y el historial registra lo que se hizo en cada paso y cada decisión humana.
Preguntas frecuentes
¿Qué es una alucinación de un modelo de IA?
Es una respuesta verosímil sin base en el texto recibido, por ejemplo un total o una cantidad que no está en el documento. Ocurre sobre todo con documentos ambiguos o incompletos.
¿Un modelo más reciente deja de inventar valores?
Reduce el riesgo, pero no lo elimina. La protección eficaz está en el proceso alrededor del modelo, como exigir el origen de cada valor y confirmar que existe en el documento.
¿Por qué los cálculos no deben hacerlos la IA?
Porque las reglas fijas dan siempre el mismo resultado con los mismos datos. La IA debe leer y proponer, y las sumas, los impuestos y las comprobaciones debe hacerlos la plataforma.
¿La revisión humana no anula la ganancia de la automatización?
No, si solo llegan a una persona los casos sin origen comprobado, con dudas o por encima de un límite. El resto sigue solo, y la persona recibe el caso ya preparado.
¿Qué ocurre si un proceso se detiene a mitad de una escritura en el ERP?
En EngiAIFlow, una escritura en un sistema conectado nunca se repite automáticamente. Una persona decide si la escritura ya se realizó, lo que evita registros duplicados.