Wenn das Modell Bilder liest

Das Modell sieht wirklich nicht

Wenn du ein Foto an GPT-4o oder Claude schickst und es dir sagt, was es darstellt, gibt es kein „Auge" im Modell. Kein visuelles System, keinen Objektdetektor. Das Modell „sieht" kein Bild — es liest eine Folge von Vektoren.

Das ist der Trick der modernen Multimodalität: jeden Datentyp (Bild, Audio, Video) in eine Darstellung zu transformieren, die wie Text-Tokens aussieht. Nach dieser Transformation erledigt der Standard-Transformer den Rest.

Hinweis zum Umfang dieses Kapitels. Wir sprechen hier über Modelle, die Bilder verstehen (sie beschreiben, Fragen dazu beantworten, ein Diagramm ablesen). Für Modelle, die Bilder aus Text generieren — Stable Diffusion, DALL-E, Midjourney — ist die Architektur anders und Gegenstand von Kapitel 21.

ViT: Das Bild in Patches zerlegen

Die Referenzarchitektur für Bilder heißt ViT (Vision Transformer), 2020 von Google vorgeschlagen.

Die Idee ist verblüffend einfach: Zerlege das Bild in kleine Quadrate (Patches) fester Größe — standardmäßig 16×16 Pixel. Jeder Patch wird in einen Vektor abgeflacht und dann in den Embedding-Raum des Transformers projiziert.

Ein 224×224-Pixel-Bild, in 16×16-Patches zerlegt, ergibt 196 Patches — das heißt 196 Tokens. Diese Tokens werden genau wie Text-Tokens an den Transformer gesendet. Die Attention verarbeitet sie, bringt sie in Beziehung und extrahiert die relevanten Merkmale.

Die Position jedes Patches im Bild wird über ein Positional Embedding kodiert, genau wie bei Text-Tokens.

Manipuliere die Patches

Hier ist ein 16×16-Bild (Vereinfachung — ViT-Base arbeitet mit 224×224). Ändere die Patch-Größe, um zu beobachten, wie Auflösung und Token-Anzahl variieren.

Das Bild wird in quadratische Patches zerlegt, jeder Patch wird über eine lineare Projektion zum Token. Der Transformer weiß nicht mehr, ob die Eingabe Text oder ein Bildraster ist — er verarbeitet die Sequenz auf dieselbe Weise.

Der Kompromiss zeigt sich sofort, wenn du den Regler bewegst: Kleinere Patches ergeben ein besser aufgelöstes Bild, aber die Token-Anzahl explodiert — und weil Attention O(n²) kostet (Kapitel 04), vervierfacht eine Halbierung der Patch-Größe die Token-Anzahl und versechzehnfacht die Kosten. Genau diese Abwägung trifft jedes Vision-Modell: genug Patches, um ein Diagramm zu lesen, nicht so viele, dass die Inferenz unbezahlbar wird.

Das spezielle [CLS]-Token

In den ersten ViTs wird ein spezielles [CLS]-Token am Anfang der Sequenz eingefügt. Nachdem die Attention Informationen zwischen allen Patches zirkulieren lassen hat, wird der Vektor von [CLS] als globale Darstellung des Bildes verwendet.

Er wird an einen Klassifizierungskopf gesendet, um auf „Was ist das?" zu antworten.

Die heutigen multimodalen Modelle — die Generation GPT-4V, Claude 3 und Gemini hat 2023-2024 den Weg geebnet, und inzwischen können es alle großen Modelle — gehen anders vor: Die Patch-Tokens werden den Text-Tokens in einer einzigen gemeinsamen Sequenz angehängt. Ab da ist nichts Besonderes mehr nötig: Die gewohnte Self-Attention lässt jedes Wort auf jedes Bildstück schauen und umgekehrt. Genau das macht den Ansatz so sparsam — keine eigene Maschinerie, man verwendet den Transformer, wie er ist.

Es gibt eine Variante, bei der das Bild in einer eigenen Sequenz bleibt und der Text es per Cross-Attention abfragt (so machen es Flamingo oder Llama 3.2 Vision). Modularer, aber weniger einfach.

CLIP: Bilder und Texte ausrichten

Bevor Bilder und Texte in demselben Transformer gemischt werden können, müssen Bild-Embeddings und Text-Embeddings denselben Vektorraum bewohnen.

Das ist das Problem, das CLIP (OpenAI, 2021) gelöst hat. CLIP trainiert zwei Encoder parallel — einen für Bilder, einen für Texte — mit einem einzigen Ziel: die Darstellungen eines Bildes und seiner Beschriftung einander anzunähern.

Nach dem Training auf Hunderten von Millionen (Bild, Text)-Paaren erzeugt CLIP Räume, in denen „ein Foto einer Katze" und ein Foto einer Katze nahe Vektoren haben. Diese Eigenschaft ermöglicht es einem LLM, ein in seinen Kontext injiziertes Bild zu „verstehen".

Die Architektur eines Vision-Language-Modells

Aktuelle multimodale LLMs bestehen in der Regel aus:

1. Einem visuellen Encoder (oft ein vortrainierter ViT), der Bild-Tokens produziert.
2. Einem Projektor (ein kleines MLP), das die Bild-Tokens in den Embedding-Raum des LLM abbildet.
3. Dem LLM, das die gemischte Sequenz (Bild-Tokens + Text-Tokens) empfängt und die Antwort generiert.

Dieser „Projektor" ist oft der einzige Teil, der beim Anpassen eines Text-LLM an Multimodalität trainiert wird — der Rest bleibt eingefroren.

Was das Modell wirklich sieht

Es ist verlockend, sich vorzustellen, das Modell habe ein tiefes „visuelles Verständnis". In Wirklichkeit passiert Folgendes:

Jeder 16×16-Pixel-Patch wird zuerst flachgelegt: 16 × 16 × 3 Farbkanäle = 768 Werte, in einer einzigen Liste aufgereiht. Diese Liste läuft anschließend durch eine gelernte lineare Projektion — eine Matrix, die zusammen mit dem Rest des Modells trainiert wird und sie in einen Embedding-Vektor überführt (768 Dimensionen bei ViT-Base). Es ist also kein Durchschnitt der Pixel: Nichts wird eingeebnet, die innere Anordnung des Patches bleibt im Vektor erhalten. Aber die Darstellung bleibt sehr lokal — dieser Vektor weiß nichts davon, was im Rest des Bildes passiert.

Es ist die Attention zwischen all diesen Vektoren, die räumliche Beziehungen rekonstruiert, Kanten erkennt und Formen erkennt. Das Modell hat kein eingebautes Konzept von „Kreis" oder „Gesicht" — es entdeckt sie statistisch.

Deshalb können visuelle LLMs bei einfachen menschlichen Aufgaben überraschend abschneiden (Objekte zählen, links/rechts unterscheiden), aber bei High-Level-Aufgaben bemerkenswert sein (ein Diagramm interpretieren, ein Rezept lesen).

Und Audio?

Dasselbe Prinzip — eine Modalität in eine Token-Sequenz umwandeln — gilt auch für die Stimme. OpenAIs Whisper (2022) bleibt im Open-Source-Bereich die Referenz für die Transkription Sprache→Text — nativ multimodale Modelle können es inzwischen besser, sind aber geschlossen. Seine Architektur ist ein Encoder-Decoder-Transformer, genau wie ein Übersetzungsmodell.

Der Trick: Man wandelt das Audiosignal in ein Mel-Spektrogramm um — ein 2D-Bild, in dem die vertikale Achse die Frequenz und die horizontale die Zeit ist. Jedes kleine Quadrat dieses Spektrogramms wird ein Eingabe-Token, genau wie die Patches von ViT bei Bildern. Whisper produziert dann Text-Tokens als Ausgabe.

Für die Sprachgenerierung (Text-to-Speech) wird das Prinzip umgedreht: Man erzeugt Audio-Tokens aus Text. ElevenLabs, OpenAI TTS, Suno (für Musik) — sie alle verwenden Transformer, die darauf trainiert sind, das nächste Audio-Token vorherzusagen. Die geklonte Stimme einer nahestehenden Person ist genau die Tokenisierung weniger Minuten Aufnahme als Konditionierung.

Der Sprung kam von den nativ multimodalen Voice-Modellen, eingeläutet 2024 von GPT-4o realtime und Gemini Live. Diese Modelle machen den Hin- und Her-Weg Text ↔ Audio nicht mehr intern: Sie denken direkt in einem Raum, der Text-Tokens und Audio-Tokens vermischt. Daher die niedrige Latenz (~300 ms) und die natürliche Prosodie — das Modell kann beim Sprechen lächeln, weil es die Audio-Domäne nie verlassen hat.

Die Unterscheidung ist wichtig, denn viele Sprachassistenten sind gar keine. Der Voice-Modus von Claude etwa reiht drei getrennte Bausteine aneinander: Transkription, dann Textmodell, dann Sprachsynthese. Das funktioniert sehr gut, aber das Modell nimmt deine Stimme nie wahr — nur den Text, den man daraus gemacht hat.

Wie bei der Vision bleibt die zugrunde liegende Architektur ein Transformer. Der Unterschied liegt allein in der Modalität des Tokens.

Tokens: eine universelle Währung

Die eigentliche Lektion der Multimodalität ist, dass der Token eine universelle Abstraktion ist.

Text → Tokens.
Bilder → Tokens (Patches).
Audio → Tokens (zerschnittenes Spektrogramm).
Moleküle → Tokens (Atome).

Sobald eine Modalität in eine Folge dichter Vektoren umgewandelt werden kann, kann ein Transformer sie verarbeiten. Deshalb revolutionieren dieselben Architekturen, die NLP revolutioniert haben, jetzt Vision, Audio, Biologie und Physik.

Der Transformer ist eine Token-Maschine. Forscher erfinden weiterhin neue Wege, die Welt zu tokenisieren.

Was eine Frage zunehmend unangenehm macht. Ein und dasselbe Modell liest Text, beschreibt ein Foto, transkribiert eine Stimme und schreibt Code: Woran entscheidet man, dass es besser ist als ein anderes? Man braucht eine Note — und jede Note ist eine Verkürzung. Das nächste Kapitel schaut sich an, was Benchmarks wirklich messen, und vor allem, was ihnen zwangsläufig entgeht.

Aktualisiert am 2. August 2026