Por que os LLMs inventam

A crítica mais frequente

Você faz uma pergunta a um LLM sobre um tema de nicho. Ele responde com toda confiança: uma referência bibliográfica, uma data, uma citação. Você confere. O livro não existe. A data está errada. A citação foi inventada.

Esse fenômeno tem um nome oficial — alucinação — e é provavelmente a primeira coisa que as pessoas criticam nos LLMs. Não é um bug ocasional: é uma propriedade estrutural. Para entender por que, é preciso voltar à forma como o modelo foi treinado.

Três mecanismos que se combinam

1. A cross-entropy não recompensa a incerteza. Durante o pré-treinamento (capítulo 06), o objetivo é minimizar a log-probabilidade negativa do token correto — ou seja, maximizar a probabilidade que ele lhe atribui. Em nenhum momento o modelo aprende a dizer "não sei": ele aprende a sempre prever alguma coisa, da forma mais plausível possível. Se a resposta certa não está nos seus pesos, ele produz a sequência mais verossímil, não uma confissão de ignorância.

2. O RLHF recompensa a confiança mais do que a honestidade. Durante o alignment (capítulo 08), humanos classificam as respostas. Em média, eles preferem uma resposta confiante e bem formulada a um "não tenho certeza". O reward model aprende esse viés, e o LLM aprende a parecer seguro — mesmo quando não está.

3. Sem loop de verificação interno. Um humano que está inventando uma citação pausa, dúvida, vai conferir. Um LLM gerando token por token não tem esse mecanismo. Ele avança, sem controle externo, e cada token gera o seguinte na mesma lógica de plausibilidade.

Uma alucinação não é um bug. É o que acontece quando um sistema treinado para sempre produzir texto plausível encontra uma pergunta cuja resposta não está em seus pesos.

O problema da calibration

Um modelo bem calibrado é aquele cuja confiança declarada corresponde à probabilidade de estar correto. Se ele diz "tenho 80% de certeza", deveria estar certo cerca de 80% do tempo.

LLMs brutos (antes do RLHF) são surpreendentemente bem calibrados em suas probabilidades internas. Mas o alignment descalibra o modelo: ao recompensar a confiança, ele afasta o modelo da verdade estatística de suas próprias predições.

É isso que explica o modo "alucinar com aplomb": não é que o modelo não saiba que não sabe. É que o treinamento o levou a mascarar essa incerteza.

Escolha uma pergunta abaixo e compare dois números: a confiança declarada pelo modelo e a probabilidade real de ele estar certo. Fique primeiro no modo Bruto, depois ative + RAG ou + Raciocínio e veja a diferença se mexer.

O modelo atribui uma probabilidade a cada uma de suas afirmações. Uma afirmação falsa mas coerente costuma receber uma pontuação alta: esse é o mecanismo estrutural das alucinações, não um bug pontual que um patch possa corrigir.

A diferença entre esses dois números é toda a história deste capítulo. Em uma pergunta factual corriqueira, ela é quase nula — o modelo sabe, e sua confiança reflete isso. Em uma pergunta cuja resposta não está nos seus pesos, a confiança declarada continua alta enquanto a probabilidade real desaba: é exatamente isso uma alucinação, vista por dentro. E você vai notar que as contramedidas reduzem a diferença sem nunca fechá-la. Guarde esse ponto, ele comanda tudo o que vem a seguir: não se elimina alucinação, contém-se.

Quatro famílias de contramedidas

As alucinações não desaparecem com mais alignment. Elas são estruturais. Para reduzi-las na prática, você precisa de alavancas sistêmicas, não apenas de um modelo melhor.

1. Conectar o modelo a ferramentas (capítulo 11)

A regra: tudo o que um LLM faz mal, você delega a um sistema determinístico. Calcular uma derivada? Code interpreter. Pegar uma cotação da bolsa? API. Verificar se um arquivo existe? File system tool. O modelo não tenta mais adivinhar o resultado — ele o observa.

Efeito: as alucinações nos domínios cobertos pelas ferramentas desabam — sem sumir de todo, já que o modelo ainda pode formular mal sua chamada ou ler mal o resultado. As alucinações nos outros domínios continuam.

2. RAG (capítulo 10)

Em vez de perguntar ao modelo o que ele se lembra sobre um tema, você fornece fontes confiáveis na hora de responder. Alucinações bibliográficas e factuais diminuem fortemente, porque o modelo pode citar o que lê, não apenas o que imagina.

Limite: se as fontes são ruins ou mal recuperadas, o modelo alucina sobre o conteúdo delas. E mesmo com boas fontes, ele pode sobre-extrapolar ("a fonte diz X, então necessariamente Y").

3. Raciocínio estendido (capítulo 17)

Um modelo que tira tempo para verificar seu rascunho antes de responder erra menos. Os modelos de raciocínio geram uma chain of thought invisível, na qual podem recalcular, contradizer uma etapa, partir de outro caminho. O o1 e o DeepSeek-R1 abriram caminho em 2024-2025; hoje todos os grandes modelos oferecem um modo desse tipo.

É imperfeito — um modelo pode alucinar dentro do próprio raciocínio — mas o simples ato de desenrolar as etapas captura uma parte significativa dos erros.

4. Fine-tuning explícito sobre incerteza

O ângulo mais promissor do lado da pesquisa: treinar o modelo para abstention. Você mostra a ele pares (pergunta, resposta) onde, quando a probabilidade interna é baixa, a resposta certa é "não sei" ou "não tenho essa informação". O modelo aprende a reconhecer seu próprio nível de confiança e a comunicá-lo.

O artigo "Why Language Models Hallucinate" (OpenAI, 2025) popularizou a explicação do impasse: nossas avaliações são binárias — certo ou errado — e não dão nenhum ponto a um "não sei". Chutar, portanto, sempre rende mais que se abster. Desde então, o treinamento para abstenção e calibração entrou nas receitas de post-training dos grandes labs (OpenAI, Anthropic, DeepMind). Os progressos são mensuráveis, mas o problema não está resolvido: enquanto os benchmarks recompensarem o blefe, os modelos vão blefar.

Detectar uma alucinação na prática

Algumas heurísticas úteis do lado do usuário:

• Peça fontes. Se o modelo não consegue citar suas fontes, ou as inventa, trate a resposta como suspeita.
• Confira o que é específico. Nomes próprios, datas, números exatos, citações são as zonas de risco. O conteúdo geral costuma estar OK.
• Reformule a pergunta de forma diferente. Um modelo que está inventando muitas vezes dá respostas coerentes à mesma pergunta reformulada — mas incoerentes a reformulações bem diferentes.
• Pergunte ao modelo qual é o nível de confiança dele. Imperfeito, mas correlacionado com a qualidade real da resposta, especialmente nos modelos recentes.
• Cruze com outro modelo. As alucinações raramente são as mesmas de um modelo para outro. Uma resposta na qual dois modelos de famílias diferentes convergem tem muito mais chances de estar correta.

O que você precisa lembrar

Três coisas.

Uma. As alucinações não são um defeito do modelo: são a consequência do seu objetivo de treinamento. Nenhum fine-tuning superficial as faz desaparecer.

Duas. As contramedidas que funcionam em produção são sistêmicas (RAG, ferramentas, raciocínio, abstention). Nenhuma é perfeita isolada; combinadas, elas trazem a taxa de alucinação a um nível aceitável para a maioria dos casos.

Três. Para o usuário final, a melhor defesa continua sendo não confiar cegamente, sobretudo em detalhes específicos (fontes, datas, números). Um LLM que te responde com aplomb não é prova de que ele está certo.

Perguntar a um LLM "você tem certeza?" não é uma verificação. É apenas mais uma geração de texto plausível.

Dessas quatro contramedidas, só uma toca no próprio modelo: retreiná-lo, para a abstenção como para qualquer outra coisa. Só que um modelo de 70 bilhões de parâmetros custa dezenas de milhares de dólares para ser retreinado por inteiro — e ninguém faz isso para ajustar um tom ou cobrir um domínio. Como se especializa um modelo sem mexer nele de verdade? O próximo capítulo responde.

Atualizado em 2 de agosto de 2026