Por que o assistente de IA da sua empresa responde errado

Numa medição sobre uma base real, o material recuperado continha em média 54,1% da resposta correta. Em quase metade das perguntas, nenhum modelo produziria uma boa resposta, porque a informação não estava escrita em lugar nenhum.

O assistente interno foi aprovado numa demonstração, entrou em piloto e agora responde coisas erradas. Alguém pergunta o prazo de garantia e recebe o número que valia em 2019. Alguém pergunta sobre uma política que mudou no trimestre passado e recebe a versão antiga, escrita com toda a confiança do mundo.

A reação natural é suspeitar do modelo, porque é a peça mais visível e a única que dá para trocar comprando outra. E é quase sempre a peça errada.

Este artigo separa as quatro causas reais de uma resposta errada, com números de um sistema que construímos e medimos. Três delas acontecem antes do modelo entrar em cena, e nenhuma se resolve trocando de fornecedor.

Resumo do artigo

• Causa 1, a mais comum: a resposta não está escrita em documento nenhum. Medido, a cobertura média do material recuperado foi de 54,1%.
• Causa 2: a informação existe e a busca trouxe o documento errado, normalmente porque a pergunta não se sustenta sozinha.
• Causa 3: a busca trouxe um documento certo, porém velho. Na pergunta sobre preço, 4 dos 5 primeiros resultados eram de 2019 a 2022.
• Causa 4: o sistema respondeu quando deveria ter se calado. O sinal intuitivo para detectar isso está refutado por medição.

A resposta curta: o modelo raramente é o culpado

Um assistente de IA sobre documentos da empresa não escreve de memória. Ele recebe uma pergunta, procura trechos na base, e só então redige a resposta usando o que encontrou. Isso significa que a maior parte do que pode dar errado já deu errado antes de o modelo ser acionado.

Vale reconstruir o caminho de uma resposta errada típica, porque quase todo caso real cabe nele.

1. Pergunta o usuário
   "Qual é o prazo de garantia do produto?"

   Pergunta legítima, frequente, e que tem resposta oficial documentada.

2. Busca milissegundos
   O sistema recupera dez trechos por relevância

   A relevância é calculada por coincidência de palavras entre a pergunta e o texto.

3. Onde quebra invisível
   O trecho mais bem pontuado é de um manual antigo

   O manual antigo é mais longo e repete mais vezes a palavra garantia, então vence a disputa por relevância.

4. Redação o modelo
   O modelo recebe apenas aquele material

   Ele não tem como saber que o documento está revogado. Para ele, aquilo é a base da empresa.

5. Saída o usuário
   Uma resposta errada, bem escrita e com fonte citada

   A citação, que deveria dar segurança, aqui aumenta a confiança em uma informação revogada.

Repare que o único ponto em que o modelo participa é o quarto, e nele ele fez exatamente o que foi pedido. Trocar essa peça melhora a redação do erro.

Causa 1: a resposta não está escrita em lugar nenhum

Esta é a causa mais comum e a que ninguém quer que seja a resposta, porque ela não se resolve com compra.

Construímos um sistema de recuperação sobre 374 documentos e avaliamos com 638 perguntas escritas por pessoas do time de conteúdo, cada uma com o documento de origem conhecido. Além de conferir se o documento certo aparecia, medimos quanto da resposta correta estava de fato presente no material recuperado.

Em média, o material que chegava ao modelo continha pouco mais da metade dos termos da resposta correta. E apenas 63% das perguntas tinham ao menos metade da resposta disponível. Nas outras, o sistema estava funcionando bem e a base é que não tinha o que responder.

Isso acontece porque o conhecimento operacional de uma empresa vive na cabeça das pessoas, não nos documentos. O que está escrito é o que alguém teve tempo de escrever, normalmente na implantação, normalmente há anos.

As perguntas que a operação recebe todo dia raramente foram registradas em algum lugar, e é exatamente por elas que o assistente é cobrado.

A boa notícia é que essa causa é a mais barata de confirmar, e o teste não depende de o assistente existir.

Causa 2: a informação existe e a busca trouxe outro documento

A segunda causa é mais sutil. A resposta está escrita, o documento certo existe, e mesmo assim a busca traz outra coisa.

O padrão que mais aparece é a pergunta que não se sustenta sozinha. Das 730 perguntas que coletamos, 87 tiveram que ser descartadas da avaliação porque não carregavam nenhum termo distintivo do documento que deveria respondê-las. São perguntas como "roda em Android e iPhone?" ou "quantos usuários ficam de fora?", perfeitamente claras para quem estava lendo a página, e sem endereço nenhum como consulta isolada.

No uso real isso aparece na segunda mensagem da conversa. A primeira pergunta é completa, a resposta vem certa, e então a pessoa escreve "e no caso de contrato anual?". Sem o assunto da primeira pergunta, essa consulta não aponta para lugar nenhum.

O conserto é de engenharia e é conhecido: reescrever a pergunta com o contexto da conversa antes de buscar. É barato, e é uma das primeiras coisas que um protótipo esquece.

A outra variante desta causa é a ambiguidade de vocabulário. A empresa chama de "chamado" o que o cliente chama de "ticket" e o manual chama de "ocorrência". A busca por palavras não sabe que são a mesma coisa, e quem sofre é quem usa o vocabulário que não entrou nos documentos.

Causa 3: a busca trouxe um documento certo, só que velho

Esta é a que mais aparece em produção e a menos antecipada no projeto. Perguntamos ao nosso sistema quanto custa desenvolver um aplicativo, que é uma das perguntas comerciais mais frequentes que existem.

Consulta ao índice do protótipo em 31/08/2026. Pontuação da busca lexical, sem filtro de data.

Quatro dos cinco primeiros são de 2019 a 2022, e o único documento atual ficou em terceiro. Um assistente sem defesa contra isso montaria uma resposta sobre preço usando material da década passada, e a citação de fonte faria o erro parecer mais confiável.

A causa é mecânica: busca por relevância não enxerga data. Texto antigo costuma ser mais longo, mais genérico e repetir mais vezes as palavras da pergunta, que é exatamente o que a relevância premia. O documento novo, escrito de forma mais direta, perde.

Causa 4: ele respondeu quando deveria ter se calado

A quarta causa é a que destrói a confiança mais rápido. Um assistente que responde tudo vai eventualmente responder algo que não sabe, e basta uma vez para as pessoas pararem de usar.

A defesa contra isso se chama abstenção, e a ideia intuitiva para implementá-la é olhar a pontuação da busca: se nada pontuou bem, é porque a pergunta está fora do escopo. Testamos essa hipótese e ela está refutada.

A pergunta sobre bolo de cenoura pontuou mais alto que a pergunta sobre o nosso próprio serviço, nas duas métricas. O motivo aparece ao abrir os resultados: "não existe receita de bolo" é expressão corriqueira em texto corporativo, e "receita" também significa faturamento. Numa base grande em português, quase toda palavra comum aparece em algum lugar.

A conclusão prática é que a decisão de responder ou se calar precisa acontecer antes da busca, com algo que entenda a pergunta em vez de contar palavras. Um modelo pequeno e barato dá conta, processando poucas dezenas de tokens por pergunta.

Como descobrir qual das quatro é a sua, em uma tarde

O diagnóstico não exige contratar nada e não exige que o assistente já exista. Ele usa material que a sua empresa já tem, e o roteiro abaixo cabe em uma tarde de trabalho de uma pessoa.

O objetivo não é apontar uma culpada. É descobrir a proporção entre as quatro, porque essa proporção decide a ordem do trabalho e o tamanho do orçamento.

Empresas que pulam esta etapa costumam investir na causa mais visível, que raramente é a mais frequente.

O roteiro tem cinco passos e todos usam material que já está pronto na operação.

1. Junte trinta perguntas reais, tiradas do que atendimento, comercial e help desk responderam por escrito na última semana. Perguntas inventadas em reunião não servem, porque elas são sempre bem formuladas.
2. Procure a resposta você mesmo, nos documentos oficiais, com cronômetro. O que você não achar em dois minutos é candidato à causa 1.
3. Anote a data de cada documento que você usou para responder. Documento com mais de dois anos em pergunta de preço, prazo ou política é candidato à causa 3.
4. Marque as perguntas que só fazem sentido em contexto, as que usam "e nesse caso", "e o outro plano", "e para quem já é cliente". Essas são a causa 2.
5. Escreva cinco perguntas fora do escopo da empresa e veja o que o sistema faz com elas. Qualquer resposta que não seja uma recusa é a causa 4.

O resultado é uma distribuição, não um veredito único. A maioria das empresas encontra as quatro, em proporções diferentes, e a proporção é que decide a ordem do trabalho.

O que consertar primeiro

Cada causa tem um conserto diferente, e eles não custam a mesma coisa nem entregam o mesmo resultado.

A ordem recomendada é de cima para baixo, e não por ser a mais fácil. É que as duas primeiras protegem a confiança do usuário enquanto a quarta, que é trabalho de meses, acontece. Um assistente que se cala em uma parte das perguntas continua sendo usado. Um que erra na mesma proporção é abandonado, e depois disso nem o conteúdo novo recupera a adoção.

Quando o problema é mesmo o modelo

Existe, e vale reconhecer para o artigo não virar uma tese de que modelo nunca importa.

O modelo é o responsável quando o material recuperado está certo, atual e completo, e mesmo assim a resposta sai errada. Na prática isso aparece de três formas: a resposta contradiz um trecho que estava na mesa, ela mistura dois documentos que falavam de produtos diferentes, ou ela ignora uma condição que estava escrita ("desde que solicitado em até 7 dias").

Nesses casos, a correção costuma ser mais barata que trocar de fornecedor: reduzir a quantidade de trechos enviados, deixar as instruções mais explícitas sobre não extrapolar o material, e separar em duas etapas quando a pergunta exige comparar documentos.

Fontes e método

Os números deste artigo vêm de um protótipo de recuperação construído sobre o conteúdo público da X-Apps, executado em 31 de agosto de 2026. O corpus tem 374 documentos e 2.563 trechos.

A avaliação usou 730 perguntas escritas pelo time de conteúdo, cada uma com documento de origem conhecido. Foram descartadas 5 sem corpo de documento e 87 que não carregavam termo distintivo do documento esperado, restando 638 perguntas avaliadas. O regime de teste remove do índice o texto das próprias perguntas, para simular pergunta inédita.

A ressalva de alcance é que essas medições avaliam recuperação, ou seja, se o material certo chega ao modelo, e foram feitas sobre conteúdo institucional em português. Bases de outra natureza podem se comportar de outro jeito.

Leia também

• RAG na prática: o que decide se o assistente acerta ou inventa
• Como construir um RAG: dos documentos ao assistente que cita a fonte
• Por que a IA inventa respostas no trabalho (e como evitar)

Perguntas frequentes