Quando o modelo lê imagens

Uma imagem também pode ser tokens

Um Transformer não exige palavras. Ele exige uma sequência de vetores.

Para aplicar a mesma arquitetura a imagens, podemos cortar a imagem em pequenos quadrados, converter cada quadrado em um vetor e alimentar a sequência ao modelo. Essa é a ideia dos Vision Transformers.

Nota sobre o escopo deste capítulo. Falamos aqui de modelos que entendem imagens (descrevem, respondem perguntas, leem um gráfico). Para modelos que geram imagens a partir de texto — Stable Diffusion, DALL-E, Midjourney — a arquitetura é diferente e é o tema do capítulo 21.

A imagem é dividida em patches quadrados; cada patch vira um token via uma projeção linear. O Transformer não sabe mais se a entrada é texto ou uma grade de imagens — processa a sequência da mesma forma.

O compromisso aparece na hora em que você mexe no controle: patches menores dão uma imagem mais bem definida, mas o número de tokens explode — e como a atenção custa O(n²) (capítulo 04), dividir o tamanho dos patches por dois quadruplica o número de tokens e multiplica o custo por dezesseis. É exatamente esse o arbitramento que cada modelo de visão faz: patches suficientes para ler um gráfico, não tantos a ponto de arruinar a inferência.

Patches

Uma imagem de 224×224 pixels pode ser dividida em patches de 16×16. Isso produz 14×14 = 196 patches, portanto 196 tokens visuais.

Cada patch é primeiro esticado em uma lista: 16 × 16 × 3 canais de cor = 768 valores enfileirados. Essa lista passa por uma projeção linear aprendida — uma matriz, treinada junto com o resto do modelo, que a transforma em um vetor de embedding (768 dimensões no ViT-Base). Não se trata, portanto, de uma média dos pixels: nada é esmagado, a disposição interna do patch fica preservada no vetor. Mas a representação continua muito local — esse vetor não sabe nada do que acontece no resto da imagem. A posição indica onde o patch estava.

É a atenção entre todos esses vetores que reconstrói as relações espaciais, detecta bordas, reconhece formas. O modelo não tem nenhum conceito embutido de "círculo" ou de "rosto" — ele os descobre estatisticamente.

Texto e imagem juntos

Um modelo multimodal pode misturar tokens de texto e tokens visuais em uma mesma sequência:

[tokens de imagem] + [tokens de texto] → resposta

A atenção permite que uma palavra olhe para uma região da imagem, e que uma região visual influencie uma palavra gerada. Essa geração de modelos multimodais — GPT-4V, Claude 3 e Gemini abriram caminho em 2023-2024, e hoje todos os grandes modelos sabem fazer isso — concatena os tokens de patch aos tokens de texto em uma única sequência. A partir daí não há mais nada de especial a fazer: a self-attention de sempre deixa cada palavra olhar cada pedaço de imagem, e vice-versa. É isso que torna a abordagem tão econômica — nenhuma maquinaria dedicada, reaproveita-se o Transformer como está.

Existe uma variante em que a imagem fica em uma sequência à parte e o texto vai consultá-la por atenção cruzada (é a escolha do Flamingo, ou do Llama 3.2 Vision). Mais modular, porém menos simples.

Para que essas duas modalidades convivam, os embeddings de imagem e de texto precisam habitar o mesmo espaço vetorial. É o problema que o CLIP (OpenAI, 2021) resolveu, treinando dois codificadores em paralelo com um único objetivo: aproximar a representação de uma imagem e a da sua legenda.

Custo

Mais resolução significa mais patches. E mais patches significa mais tokens. Como a atenção custa O(n²), dobrar a resolução pode aumentar muito o custo.

Por isso sistemas multimodais usam truques: compressão visual, resoluções adaptativas, seleção de regiões, modelos especializados.

E o áudio?

O mesmo princípio — converter uma modalidade em sequência de tokens — se aplica a voz. O Whisper da OpenAI (2022) continua sendo a referência em open source para transcrição fala→texto — os modelos nativamente multimodais já fazem melhor, mas continuam fechados. Sua arquitetura é um Transformer encoder-decoder, exatamente como um modelo de tradução.

O truque: o sinal de áudio é convertido em espectrograma Mel — uma imagem 2D em que o eixo vertical é a frequência e o horizontal é o tempo. Cada quadradinho desse espectrograma vira um token de entrada, como os patches do ViT para imagens. O Whisper produz então tokens de texto na saída.

Para a geração de voz (text-to-speech), o princípio se inverte: geram-se tokens de áudio a partir de texto. ElevenLabs, OpenAI TTS, Suno (para música) usam todos Transformers treinados a prever o próximo token de áudio. A voz clonada de um ente querido é exatamente a tokenização de alguns minutos de gravação usada como condicionamento.

O salto veio dos modelos de voz nativamente multimodais, inaugurados pelo GPT-4o realtime e pelo Gemini Live em 2024. Esses modelos não fazem mais o ida-e-volta texto ↔ áudio internamente: eles raciocinam diretamente em um espaço que mistura tokens de texto e tokens de áudio. Daí a latência baixa (~300 ms) e a prosódia natural — o modelo pode sorrir enquanto fala, porque nunca saiu do domínio do áudio.

A distinção importa, porque muitos assistentes de voz não são nada disso. O modo de voz do Claude, por exemplo, encadeia três blocos separados: transcrição, depois modelo de texto, depois síntese de voz. Funciona muito bem, mas o modelo nunca percebe a sua voz — apenas o texto que fizeram dela.

Como na visão, a arquitetura subjacente continua sendo um Transformer. A diferença está apenas na modalidade do token.

O próximo passo

Já vimos como o modelo prediz, aprende, usa contexto, ferramentas e dados multimodais. Resta uma pergunta difícil: como sabemos se ele é realmente bom?

E ela fica cada vez mais incômoda. Um mesmo modelo lê texto, descreve uma foto, transcreve uma voz e escreve código: com base em que se decide que ele é melhor que outro? Precisa de uma nota — e toda nota é uma redução. O próximo capítulo olha o que os benchmarks medem de fato e, sobretudo, o que eles deixam necessariamente passar.

Atualizado em 2 de agosto de 2026