Do modelo bruto ao assistente

Um completador não é um assistente

Depois do pré-treinamento, o modelo sabe continuar texto. Mas "continuar texto" não é o mesmo que "ajudar uma pessoa".

Se você escreve uma pergunta, um modelo bruto pode continuar com outra pergunta, repetir o estilo de um fórum, inventar uma resposta insegura ou completar uma instrução perigosa. Ele ainda não tem a noção de conversa útil.

Compare as duas colunas abaixo nos três prompts. Comece pela pergunta aberta e termine pelo pedido problemático — é ali que a diferença fala mais alto.

Três prompts idênticos, dois modelos: à esquerda o modelo cru, à direita o mesmo após fine-tuning supervisionado e RLHF. O cru continua o texto; o alinhado responde — e recusa pedidos problemáticos.

O que é preciso enxergar: o modelo bruto nunca está errado. Ele faz exatamente aquilo para que foi treinado — continuar um texto plausível. No pedido problemático, ele não "decide" ser perigoso, ele completa como faria qualquer página do seu corpus. Tudo o que parece intenção na coluna da direita — responder, estruturar, recusar — foi acrescentado depois. É esse "depois" que detalhamos agora.

Instruction tuning

O primeiro passo é o instruction tuning: treinar o modelo com exemplos do tipo:

instrução → resposta esperada

Em vez de aprender apenas "qual token vem depois", ele aprende que uma instrução humana normalmente pede uma resposta direta, clara e estruturada.

Não muda a arquitetura. Muda os dados e, portanto, o comportamento.

É a primeira etapa da passagem do GPT-3 para o InstructGPT (2022), o ancestral direto do ChatGPT. A diferença é espetacular: o modelo enfim começa a responder. Atenção, porém: esse salto não vem do fine-tuning supervisionado sozinho, e sim do seu encadeamento com a etapa seguinte.

RLHF

O RLHF adiciona um sinal humano.

Geramos várias respostas para o mesmo prompt. Pessoas comparam: qual é mais útil, honesta, segura? Com essas preferências, treinamos um modelo de recompensa e depois ajustamos o LLM para produzir respostas que esse modelo prefira.

A ideia não é tornar o modelo "bom" em sentido filosófico. É dar uma direção de comportamento: seguir instruções, evitar dano, explicar limites.

DPO: PPO, de forma mais simples

O RLHF clássico tem um problema prático: é um pipeline pesado. Um reward model para treinar, um algoritmo de RL (PPO) instável para ajustar, e um custo enorme de compute.

Em 2023, uma equipe de Stanford propôs o DPO (Direct Preference Optimization). A ideia: curto-circuitar completamente o reward model e o RL. Matematicamente, dá para derivar uma simples loss supervisionada que otimiza diretamente o LLM para que ele prefira a resposta "vencedora" a "perdedora" em cada par de comparação.

Concretamente, partindo dos mesmos pares (prompt, resposta_A_melhor_que_resposta_B) que o RLHF usava, o DPO treina o modelo com uma loss em uma única passagem — como um fine-tuning supervisionado clássico. Sem reward model separado, sem PPO, sem instabilidade.

O resultado é quase indistinguível do PPO-RLHF nos benchmarks, com uma fração do custo e da complexidade. A partir de 2023-2024, DPO e suas variantes (IPO, KTO, ORPO) viraram a norma para a parte de "preferências humanas", em Llama, Mistral e na maioria dos laboratórios open source.

O retorno do RL, com um juiz que não erra

Por um momento se acreditou que o DPO tinha matado o reinforcement learning. Aconteceu o contrário.

O problema do RLHF é o seu juiz: um reward model que imita preferências humanas. Ele é aproximado, tem seus vieses, e um modelo esperto aprende rápido a explorá-lo — a escrever respostas que agradam ao juiz sem serem melhores.

Mas para certas tarefas não precisamos de um juiz aproximado. Um programa passa nos seus testes unitários ou não passa. Um resultado de cálculo está certo ou errado. Um teorema se verifica. Nessas tarefas, dá para substituir o reward model por uma verificação automática — é o que se chama de RLVR (reinforcement learning from verifiable rewards).

O modelo produz tentativas, verificamos mecanicamente quais dão certo e reforçamos os caminhos que funcionam. Não há mais juiz para enganar: a recompensa é o real. O DeepSeek-R1 tornou a abordagem famosa em janeiro de 2025, com algoritmos como o GRPO, mais leves que o PPO.

O pipeline moderno empilha, portanto, os três:

Etapa	O que ela aprende	Seu juiz
SFT	Responder em vez de completar	Respostas escritas por humanos
DPO (ou variantes)	O tom, o formato, o que agrada	Preferências humanas, aprendidas
RLVR (GRPO...)	Raciocinar certo em matemática e código	Um verificador automático

Você ainda lê "RLHF" em todo lugar: virou um termo genérico para "tudo o que se faz com o modelo depois do pré-treinamento". Por baixo do capô, é um empilhamento — e é a última camada que explica os progressos recentes em raciocínio. Voltamos a isso no capítulo 17.

Segurança e recusas

Um assistente alinhado também precisa saber dizer não. Essa parte é delicada:

• recusar instruções claramente nocivas
• não recusar perguntas legítimas por prudência excessiva
• propor alternativas seguras quando possível

Uma boa recusa não é uma parede. É um redirecionamento: "não posso ajudar com isso, mas se o problema real é X, aqui vai uma opção segura".

Por que os LLMs alucinam

Essa é provavelmente a crítica mais comum aos LLMs: eles inventam fatos com confiança. Uma referência bibliográfica que não existe, uma citação que nunca foi dita, um evento distorcido. Por quê?

Três mecanismos se combinam.

1. A cross-entropy não recompensa a incerteza. Durante o pré-treinamento (capítulo 06), o modelo aprende a minimizar a log-probabilidade do token correto. Em nenhum momento ele aprende a dizer "não sei" — o objetivo é sempre prever alguma coisa. Se a resposta certa não está nos seus parâmetros, ele produz a sequência de palavras mais plausível no faro.

2. O RLHF recompensa a confiança mais do que a honestidade. Quando humanos anotam preferências, eles tendem em média a preferir uma resposta confiante e bem formulada a um "não sei, não tenho certeza". O reward model aprende esse viés, e o LLM aprende a parecer seguro, mesmo quando não está.

3. Sem loop de verificação interno. Um humano que está inventando algo pausa, dúvida, confere. Um LLM gerando token por token não tem esse mecanismo nativamente — ele avança, sem controle externo.

É por isso que as alucinações não desaparecem com mais alinhamento. Elas são estruturais. As contramedidas eficazes são sistêmicas:

• Conectar o modelo a ferramentas (capítulo 11) — calcular em vez de estimar, consultar uma base em vez de memorizar.
• RAG (capítulo 10) — fornecer fontes confiáveis em vez de depender da memória dos parâmetros.
• Raciocínio estendido (capítulo 17) — um modelo que tira tempo para pensar alucina menos.
• Fine-tuning explícito sobre incerteza — ensinar o modelo a dizer "não sei" quando sua probabilidade interna é baixa (pesquisa ativa).

Uma alucinação não é um bug do modelo. É o que acontece quando um sistema treinado para sempre produzir texto plausível encontra uma pergunta cuja resposta não está em seus pesos.

Fim da parte II

Você acabou de atravessar todo o pipeline interno de um LLM moderno, dos bytes brutos do texto ao comportamento alinhado:

• 01 — Prever a próxima palavra, de novo e de novo.
• 02 — Tokenizar o texto.
• 03 — Embutir cada token num espaço de sentido.
• 04 — Deixar os tokens se olharem via atenção.
• 05 — Empilhar blocos Transformer.
• 06 — Treinar por descida de gradiente.
• 07 — Amostrar a próxima palavra.
• 08 — Alinhar nas preferências humanas.

Nenhum desses mecanismos é misterioso isoladamente. Nenhum, sozinho, basta para explicar o que você vê quando um LLM resume um artigo científico ou escreve um soneto: a inteligência emerge da sua composição em grande escala.

O milagre não está em uma só das peças. Está na cadeia inteira, multiplicada por bilhões de parâmetros, treinada sobre trilhões de tokens.

E agora?

O modelo está pronto. Sabe prever, raciocinar, seguir instruções. Mas entre ele e a experiência que você tem quando usa o ChatGPT ou o Claude, ainda existe toda uma infraestrutura: a janela de contexto que define do que ele se lembra, o RAG que lhe dá acesso aos seus documentos, os agentes que o conectam a ferramentas.

Esse é o tema da parte III — O modelo em produção.

E mais além, a parte IV — Indo mais longe entra nos temas de pesquisa atuais: fine-tuning, multimodalidade, raciocínio estendido, leis de escala, interpretabilidade, difusão.

O pipeline está posto. O resto é tudo o que construímos em cima dele.

Atualizado em 2 de agosto de 2026