Para saber se a resposta de uma ferramenta de inteligência artificial sobre os dados da empresa está certa, é preciso conseguir ver três coisas, a consulta que a ferramenta executou, os dados que essa consulta devolveu e a definição usada para cada indicador. Se a ferramenta mostra as três, qualquer número se confirma em poucos minutos. Se só mostra a resposta final, confia-se às cegas.
As ferramentas de análise em linguagem natural tornaram simples perguntar «quanto vendemos no último trimestre, por região?». O desafio passou a ser outro. Uma resposta escrita com segurança não é necessariamente uma resposta certa, e numa reunião de direção um número errado custa mais do que a falta de um número.
Porque é que uma IA pode errar ao responder sobre os dados da empresa?
Quando alguém faz uma pergunta em linguagem natural, a ferramenta traduz essa pergunta numa consulta à base de dados, normalmente em SQL, executa-a e apresenta o resultado. O erro pode entrar em qualquer um destes passos.
- A pergunta é ambígua. «Vendas» pode querer dizer faturação com ou sem IVA, com ou sem notas de crédito, contada pela data da fatura ou pela data da encomenda.
- A consulta lê a tabela errada. Muitos ERP guardam informação parecida em mais do que um sítio, por exemplo em documentos provisórios e em documentos finais.
- A consulta está certa, mas o filtro não. Um período mal definido, um cliente esquecido ou uma loja que ficou de fora mudam o total sem dar qualquer erro.
- O texto da resposta não corresponde aos dados. Um modelo de linguagem pode escrever uma frase convincente com um número que não está no resultado da consulta.
- Os dados de origem têm problemas. Registos duplicados ou campos vazios produzem um número errado mesmo com uma consulta perfeita.
Nenhum destes erros é exclusivo da inteligência artificial. Um relatório preparado à mão numa folha de cálculo corre os mesmos riscos. A diferença é que a IA responde depressa e com aparente certeza, e por isso a verificação tem de estar desenhada na própria ferramenta, em vez de depender da desconfiança de quem lê.
Como verificar uma resposta, passo a passo
Estes cinco passos servem para qualquer ferramenta de análise de dados com IA e levam poucos minutos.
- Reler a pergunta como a ferramenta a entendeu. Uma boa resposta diz, em linguagem natural, o que a consulta devolve. Se essa descrição não corresponde ao que se queria saber, o problema está na pergunta e não nos dados.
- Abrir a consulta. Ver que tabelas foram lidas, que filtros foram aplicados e que período foi considerado. Não é preciso saber escrever SQL para reparar que falta um filtro de datas ou que a tabela lida é a dos orçamentos quando se perguntou pelas faturas.
- Olhar para os dados devolvidos. O número da resposta tem de estar na tabela de resultados. Se a frase fala de um valor que não aparece nos dados, há motivo para desconfiar.
- Comparar com um número conhecido. O total de um mês já fechado, a faturação de um cliente que se conhece bem ou o valor de um relatório oficial servem de referência rápida.
- Fazer a mesma pergunta de outra forma. Se «faturação de setembro» e «total faturado entre 1 e 30 de setembro» dão números diferentes, há uma definição por esclarecer.
Porque é que a consulta e os dados devolvidos têm de estar à vista?
Uma ferramenta que só mostra a resposta final pede um ato de fé. Uma ferramenta que mostra a consulta e os dados devolvidos permite uma verificação. É esta a diferença entre uma caixa negra e um instrumento de trabalho. Na prática, a transparência tem três níveis.
| Nível | O que se vê | O que permite |
|---|---|---|
| Só a resposta | Um número ou uma frase | Aceitar ou rejeitar, sem saber porquê |
| Resposta e dados | A tabela com o resultado da consulta | Confirmar que o número está nos dados |
| Resposta, dados e consulta | A tabela e a consulta que a produziu | Confirmar de onde vem cada número e repetir a consulta noutra ferramenta |
Para decisões financeiras ou comerciais, só o terceiro nível chega. É também o único que permite a quem gere os sistemas corrigir uma consulta e reutilizá-la. Para uma comparação mais ampla entre formas de consultar os dados, pode ler o nosso artigo sobre análise conversacional e dashboards.
Como evitar respostas certas à pergunta errada
O erro mais comum não é a IA inventar um número. É responder corretamente a uma pergunta ligeiramente diferente da que se queria fazer. Isto resolve-se mais com organização do que com tecnologia.
- Escrever as definições dos indicadores principais. O que conta como venda, como cliente ativo ou como encomenda em atraso. Uma página chega.
- Usar sempre o mesmo período de referência. Mês civil, mês fiscal e últimos 30 dias dão números diferentes, e todos estão certos.
- Começar pelas perguntas cuja resposta já se conhece. As primeiras semanas servem para calibrar a confiança na ferramenta com números que a equipa sabe de cor.
- Guardar as perguntas que funcionam. Uma pergunta verificada pode passar a relatório ou a painel, e deixa de ser preciso confirmá-la de cada vez.
Quem pode perguntar o quê, e o que fica registado?
Confiar numa resposta também passa por saber quem a pediu e a que dados teve acesso. Duas perguntas ajudam a avaliar qualquer ferramenta.
- O acesso é controlado ao nível dos dados? Não basta controlar quem entra na ferramenta. É preciso definir que tabelas cada pessoa pode consultar, para que uma pergunta sobre vencimentos não seja respondida a quem não os deve ver.
- Fica registado o que foi perguntado? Um registo com quem perguntou, a que fonte, que consulta foi executada e quantas linhas devolveu permite reconstituir de onde veio um número apresentado numa reunião.
Um exemplo prático numa empresa de distribuição
Imagine uma empresa de distribuição em que o diretor financeiro pergunta «qual foi a margem por região no terceiro trimestre?». A ferramenta responde com um gráfico de barras e uma frase a dizer que a região Norte teve a margem mais alta. Antes de levar o gráfico à reunião de direção, o diretor abre a consulta e repara que as notas de crédito não foram descontadas. Volta a perguntar, agora «margem por região no terceiro trimestre, descontadas as notas de crédito», e o Norte desce para segundo lugar.
Neste exemplo, a ferramenta não errou. Respondeu à pergunta que lhe foi feita. Foi a consulta à vista que permitiu perceber que a pergunta precisava de ser mais precisa, antes de a conclusão errada chegar à reunião.
É assim que funciona o EngiAnalytics, a plataforma de análise de dados conversacional da Engibots. Cada resposta traz uma frase em linguagem natural a dizer o que a consulta devolve e, se essa frase citar um número que não está nos dados devolvidos, o leitor é avisado. A consulta SQL que deu origem a cada resposta pode ser aberta e copiada, ao lado da tabela com os dados devolvidos. Os perfis de acesso definem, tabela a tabela, o que cada pessoa pode consultar, e uma pergunta fora desse âmbito é recusada de imediato. Todas as perguntas ficam registadas com quem perguntou, a fonte, a consulta executada, o número de linhas devolvidas, a duração e o desfecho, e os dados devolvidos não ficam guardados. A descoberta exploratória percorre a base de dados à procura de inconsistências e mostra o que merece ser corrigido antes de chegar a um relatório.
Perguntas frequentes
Uma IA pode inventar números sobre os dados da empresa?
Pode, sobretudo no texto que acompanha a resposta. Por isso a ferramenta deve mostrar os dados devolvidos pela consulta e avisar quando a frase cita um número que não está nesses dados.
É preciso saber SQL para verificar uma resposta?
Não. Basta ver que tabelas foram lidas e que filtros e período foram aplicados. Quem gere os sistemas pode copiar a consulta e repeti-la noutra ferramenta quando for preciso confirmar.
Qual é o erro mais comum nas respostas de IA sobre dados?
Responder corretamente a uma pergunta ligeiramente diferente da pretendida, por exemplo vendas com IVA quando se queria sem IVA. Definições escritas dos indicadores principais evitam a maior parte destes casos.
Como se controla o que cada pessoa pode perguntar?
Com perfis de acesso definidos tabela a tabela. Uma pergunta fora desse âmbito deve ser recusada sem expor a informação reservada.
Que informação deve ficar registada de cada pergunta?
Quem perguntou, a fonte, a consulta executada, o número de linhas devolvidas, a duração e o desfecho. Com isso é possível reconstituir de onde veio qualquer número apresentado numa reunião.