Como sabemos que um modelo é melhor?

Medir um modelo é medir um comportamento

Não existe uma única nota que diga se um LLM é "bom". Um modelo pode ser excelente em código, médio em matemática, rápido mas menos confiável, criativo mas impreciso.

Avaliar significa escolher que comportamento queremos medir.

Abaixo, cinco modelos comparados em seis benchmarks — entre eles o BBH (Big-Bench Hard), uma seleção das tarefas de raciocínio em que os modelos ainda falhavam quando o benchmark foi construído. Clique em um modelo para ver suas pontuações, ou em um benchmark para entender o que ele avalia.

É um instantâneo de 2024, não o ranking do dia. Os modelos mudaram, e vários desses benchmarks já estão saturados. Ele foi mantido como está porque o que mostra — perfis de força diferentes, nenhum vencedor em todas as linhas — continua verdadeiro a cada geração.

Cada eixo é um benchmark. Modelos têm perfis diferentes — fortes em código, fracos em raciocínio longo, ou o contrário. Nenhum radar dá o veredito final: é preciso cruzar benchmarks objetivos e preferências humanas para julgar um LLM.

Benchmarks

Um benchmark é um conjunto de tarefas com uma métrica. MMLU mede conhecimento acadêmico, HumanEval mede código, GSM8K mede raciocínio aritmético, Arena mede preferências humanas.

Cada benchmark ilumina uma parte do modelo. Nenhum cobre tudo.

Os pontos de referência humanos costumam ser mal citados. No MMLU, humanos não especialistas ficam em torno de 35 % — são 57 disciplinas, ninguém domina todas. Os ~90 % que circulam por toda parte são a estimativa para especialistas de cada domínio: um médico nas questões de medicina, um jurista nas de direito. Os modelos de ponta já passaram dessa marca — e é justamente esse o problema. O MMLU está hoje saturado: ele não separa mais os melhores modelos. Mesma coisa no HumanEval, onde a fronteira está acima de 95 %. Quando todo mundo acerta quase tudo, o benchmark deixa de classificar qualquer coisa, e a diferenciação se desloca para testes mais duros (MMLU-Pro, GPQA, SWE-bench, HLE).

Do lado das preferências humanas, a LMArena funciona de outro jeito: humanos anônimos fazem qualquer pergunta a dois modelos exibidos sem nome, leem as duas respostas e escolhem a preferida. A pontuação ELO sai de milhões desses duelos. É o único benchmark que mede o que os humanos realmente preferem, com toda a subjetividade que isso implica — e que, por isso mesmo, nem sempre acompanha os benchmarks acadêmicos.

No HumanEval, a métrica padrão é o pass@k: geramos k propostas por problema (frequentemente k=1 ou k=10) e contamos um sucesso quando pelo menos uma passa nos testes. pass@1 mede a confiabilidade, pass@10 a capacidade bruta.

Avaliação por tarefas reais

Para além dos benchmarks clássicos, vários benchmarks tentam medir capacidades em situações mais próximas do uso real:

• SWE-Bench — bugs reais do GitHub para corrigir em codebases existentes. O modelo recebe um repositório, uma descrição de bug, e precisa produzir um patch que passa nos testes. Muito mais difícil que HumanEval.
• GAIA — perguntas multi-etapas que exigem raciocínio, busca na web, manipulação de arquivos. Mede capacidade agêntica.
• GPQA (Graduate-Level Google-Proof QA) — perguntas de física, química e biologia em nível de doutorado, projetadas para que não se possa responder via busca no Google. Distingue modelos que raciocinam dos que recuperam.
• ARC-AGI — quebra-cabeças visuais abstratos, projetados para medir raciocínio geral sobre conceitos novos. Nenhum modelo havia passado um limiar humano antes do final de 2024.
• Humanity's Last Exam — perguntas no nível dos melhores pesquisadores do mundo, em domínios onde benchmarks clássicos estão saturados.

Contaminação

Se um benchmark está na internet, ele pode aparecer nos dados de treinamento. Então o modelo pode ter visto as respostas antes do teste.

Por isso avaliações modernas tentam usar conjuntos privados, tarefas novas ou comparações humanas cegas.

Avaliar seu caso real

Para um produto, benchmarks públicos não bastam. É preciso construir uma avaliação própria:

• prompts representativos
• respostas esperadas ou critérios de qualidade
• casos limite
• medição de latência e custo
• revisão humana de amostras

A pergunta importante não é "qual modelo ganha em geral?", mas "qual falha menos no meu uso concreto?".

O que lembrar

Um LLM não é magia. É uma máquina que:

1. corta texto em tokens
2. transforma tokens em vetores
3. usa atenção para misturar contexto
4. empilha blocos Transformer
5. aprende prevendo o próximo token
6. gera amostrando uma distribuição
7. é alinhado, equipado, avaliado

Se você entende esse ciclo, consegue raciocinar sobre suas capacidades e limites sem cair nem no mito nem no cinismo.

Esses rankings, mesmo assim, revelaram algo inesperado. Nos testes mais duros — GPQA, ARC-AGI, matemática de olimpíada — um mesmo modelo pode ir de medíocre a excelente sem que se toque em um único dos seus pesos. A única variável que muda é o tempo que o deixamos pensar antes de responder. Como se ganham pontos pensando mais tempo? Próximo capítulo.

Atualizado em 2 de agosto de 2026