Para saber si la respuesta de una herramienta de inteligencia artificial sobre los datos de su empresa es correcta, necesita ver tres cosas, la consulta que la herramienta ejecutó, los datos que esa consulta devolvió y la definición utilizada para cada indicador. Si la herramienta muestra las tres, cualquier cifra se comprueba en pocos minutos. Si solo muestra la respuesta final, está confiando a ciegas.
Las herramientas de análisis en lenguaje natural han hecho sencillo preguntar «¿cuánto vendimos el último trimestre, por región?». El reto ahora es otro. Una respuesta escrita con seguridad no es necesariamente una respuesta correcta, y en una reunión de dirección una cifra equivocada cuesta más que la falta de una cifra.
¿Por qué puede equivocarse una IA al responder sobre los datos de la empresa?
Cuando alguien hace una pregunta en lenguaje natural, la herramienta la traduce en una consulta a la base de datos, normalmente en SQL, la ejecuta y presenta el resultado. El error puede aparecer en cualquiera de estos pasos.
- La pregunta es ambigua. «Ventas» puede significar facturación con o sin IVA, con o sin abonos, contada por fecha de factura o por fecha de pedido.
- La consulta lee la tabla equivocada. Muchos ERP guardan información parecida en más de un sitio, por ejemplo en documentos provisionales y en documentos definitivos.
- La consulta es correcta, pero el filtro no. Un periodo mal definido, un cliente olvidado o una tienda que quedó fuera cambian el total sin dar ningún error.
- El texto de la respuesta no coincide con los datos. Un modelo de lenguaje puede escribir una frase convincente con una cifra que no está en el resultado de la consulta.
- Los datos de origen tienen problemas. Registros duplicados o campos vacíos producen una cifra equivocada incluso con una consulta perfecta.
Ninguno de estos errores es exclusivo de la inteligencia artificial. Un informe preparado a mano en una hoja de cálculo corre los mismos riesgos. La diferencia es que la IA responde rápido y con aparente certeza, por lo que la verificación debe estar diseñada en la propia herramienta, en lugar de depender de la desconfianza de quien lee.
¿Cómo se verifica una respuesta, paso a paso?
Estos cinco pasos sirven para cualquier herramienta de análisis de datos con IA y llevan pocos minutos.
- Releer la pregunta tal como la entendió la herramienta. Una buena respuesta indica, en lenguaje natural, qué devuelve la consulta. Si esa descripción no coincide con lo que usted quería saber, el problema está en la pregunta y no en los datos.
- Abrir la consulta. Ver qué tablas se leyeron, qué filtros se aplicaron y qué periodo se consideró. No hace falta saber escribir SQL para notar que falta un filtro de fechas o que la tabla leída es la de presupuestos cuando se preguntó por facturas.
- Mirar los datos devueltos. La cifra de la respuesta tiene que estar en la tabla de resultados. Si la frase menciona un valor que no aparece en los datos, hay motivo para desconfiar.
- Comparar con una cifra conocida. El total de un mes ya cerrado, la facturación de un cliente que conoce bien o el valor de un informe oficial sirven de referencia rápida.
- Hacer la misma pregunta de otra forma. Si «facturación de septiembre» y «total facturado entre el 1 y el 30 de septiembre» dan cifras distintas, hay una definición por aclarar.
¿Por qué la consulta y los datos devueltos deben estar a la vista?
Una herramienta que solo muestra la respuesta final pide un acto de fe. Una herramienta que muestra la consulta y los datos devueltos permite una verificación. Esa es la diferencia entre una caja negra y un instrumento de trabajo. En la práctica, la transparencia tiene tres niveles.
| Nivel | Qué se ve | Qué permite |
|---|---|---|
| Solo la respuesta | Una cifra o una frase | Aceptar o rechazar, sin saber por qué |
| Respuesta y datos | La tabla con el resultado de la consulta | Confirmar que la cifra está en los datos |
| Respuesta, datos y consulta | La tabla y la consulta que la produjo | Confirmar de dónde sale cada cifra y repetir la consulta en otra herramienta |
Para decisiones financieras o comerciales, solo el tercer nivel es suficiente. Es también el único que permite a quien gestiona los sistemas corregir una consulta y reutilizarla. Para una comparación más amplia entre formas de consultar los datos, puede leer nuestro artículo sobre análisis conversacional y dashboards.
¿Cómo evitar respuestas correctas a la pregunta equivocada?
El error más habitual no es que la IA invente una cifra. Es que responda correctamente a una pregunta ligeramente distinta de la que se quería hacer. Esto se resuelve más con organización que con tecnología.
- Escribir las definiciones de los indicadores principales. Qué cuenta como venta, como cliente activo o como pedido con retraso. Basta con una página.
- Usar siempre el mismo periodo de referencia. Mes natural, mes fiscal y últimos 30 días dan cifras distintas, y todas son correctas.
- Empezar por las preguntas cuya respuesta ya conoce. Las primeras semanas sirven para calibrar la confianza en la herramienta con cifras que el equipo sabe de memoria.
- Guardar las preguntas que funcionan. Una pregunta verificada puede convertirse en informe o en panel, y deja de ser necesario comprobarla cada vez.
¿Quién puede preguntar qué, y qué queda registrado?
Confiar en una respuesta también implica saber quién la pidió y a qué datos tuvo acceso. Dos preguntas ayudan a evaluar cualquier herramienta.
- ¿El acceso se controla a nivel de los datos? No basta con controlar quién entra en la herramienta. Hay que definir qué tablas puede consultar cada persona, para que una pregunta sobre nóminas no se responda a quien no debe verlas.
- ¿Queda registrado lo que se preguntó? Un registro con quién preguntó, a qué fuente, qué consulta se ejecutó y cuántas filas devolvió permite reconstruir de dónde salió una cifra presentada en una reunión.
Un ejemplo práctico en una empresa de distribución
Imagine una empresa de distribución en la que el director financiero pregunta «¿cuál fue el margen por región en el tercer trimestre?». La herramienta responde con un gráfico de barras y una frase que indica que la región Norte tuvo el margen más alto. Antes de llevar el gráfico a la reunión de dirección, el director abre la consulta y ve que no se descontaron los abonos. Vuelve a preguntar, ahora «margen por región en el tercer trimestre, descontados los abonos», y el Norte baja al segundo puesto.
En este ejemplo, la herramienta no se equivocó. Respondió a la pregunta que se le hizo. Fue la consulta a la vista la que permitió ver que la pregunta debía ser más precisa, antes de que la conclusión equivocada llegara a la reunión.
Así funciona EngiAnalytics, la plataforma de análisis de datos conversacional de Engibots. Cada respuesta incluye una frase en lenguaje natural que indica qué devuelve la consulta y, si esa frase cita una cifra que no está en los datos devueltos, se avisa al lector. La consulta SQL que dio origen a cada respuesta se puede abrir y copiar, junto a la tabla con los datos devueltos. Los perfiles de acceso definen, tabla a tabla, qué puede consultar cada persona, y una pregunta fuera de ese ámbito se rechaza de inmediato. Todas las preguntas quedan registradas con quién preguntó, la fuente, la consulta ejecutada, el número de filas devueltas, la duración y el resultado, y los datos devueltos no se guardan. El descubrimiento exploratorio recorre la base de datos en busca de inconsistencias y muestra lo que conviene corregir antes de que llegue a un informe.
Preguntas frecuentes
¿Puede una IA inventar cifras sobre los datos de la empresa?
Puede, sobre todo en el texto que acompaña la respuesta. Por eso la herramienta debe mostrar los datos devueltos por la consulta y avisar cuando la frase cita una cifra que no está en esos datos.
¿Hace falta saber SQL para verificar una respuesta?
No. Basta con ver qué tablas se leyeron y qué filtros y periodo se aplicaron. Quien gestiona los sistemas puede copiar la consulta y repetirla en otra herramienta cuando haga falta confirmar.
¿Cuál es el error más habitual en las respuestas de IA sobre datos?
Responder correctamente a una pregunta ligeramente distinta de la que se quería hacer, por ejemplo ventas con IVA cuando se querían sin IVA. Las definiciones escritas de los indicadores principales evitan la mayoría de estos casos.
¿Cómo se controla lo que cada persona puede preguntar?
Con perfiles de acceso definidos tabla a tabla. Una pregunta fuera de ese ámbito debe rechazarse sin exponer la información reservada.
¿Qué información debe quedar registrada de cada pregunta?
Quién preguntó, la fuente, la consulta ejecutada, el número de filas devueltas, la duración y el resultado. Con eso es posible reconstruir de dónde salió cualquier cifra presentada en una reunión.