Denken, bevor man antwortet

Die schnelle Antwort ist oft falsch

Was ist die letzte Ziffer von 7¹⁰⁰?

Wenn du diese Frage einem klassischen LLM stellst, antwortet es wahrscheinlich „7" in einem Bruchteil einer Sekunde. Logisch: 7 fängt mit 7 an, 7² = 49, und wenn man nicht zu sehr nachdenkt, nimmt man an, dass es 7 bleibt. Die Antwort ist falsch — es ist 1.

Stellst du dieselbe Frage aber einem Reasoning-Modell, zögert es. Es „denkt" 10, 20, manchmal 60 Sekunden lang. Und es kommt zur richtigen Antwort. OpenAI hat diesen Weg Ende 2024 mit o1 eröffnet, DeepSeek-R1 hat ihn Anfang 2025 öffentlich gemacht; heute hat jedes große Modell einen Modus dieser Art.

Der Unterschied liegt nicht in der Architektur — es ist derselbe Transformer. Er liegt darin, wie das Modell trainiert wurde, und in dem, was wir ihm vor der Antwort erlauben.

Die Thinking Tokens

Jedes LLM erzeugt Tokens, eines nach dem anderen, von links nach rechts. Was Reasoning-Modelle auszeichnet, ist, dass sie zuerst eine lange Sequenz von Arbeits-Tokens erzeugen — einen inneren Monolog — bevor sie die endgültige Antwort produzieren. Je nach Anbieter siehst du ihn vollständig, nur als Zusammenfassung, oder gar nicht.

Diese versteckten Tokens heißen Thinking Tokens (oder Denk-Tokens).

Das Modell kann darin alles schreiben: Zwischenrechnungen, Hypothesen, die es widerlegt, abgebrochene Erkundungspfade, Überprüfungen. Es ist ein Notizblock, den es löscht, bevor es dir das saubere Ergebnis zeigt.

Das ist keine Magie. Es ist einfach zusätzlicher Platz, um ein schwieriges Problem zu bearbeiten.

Probier es selbst aus

Stelle das Denk-Budget auf „Keines" und klicke dann auf „Denken". Beobachte die sofortige Antwort. Stelle dann das Budget auf „Vollständig" und starte erneut.

Die ausgegrauten Blöcke sind die interne Gedankenkette — das Modell stellt Hypothesen auf, prüft, geht manchmal zurück. Diese Thinking Tokens kosten Latenz und Geld, lösen aber Probleme, die der direkte Modus nicht lösen kann.

Der Unterschied zwischen den beiden liegt nicht in der Kapazität des Modells — er liegt in der Inferenz-Rechenzeit, die ihm zugewiesen wird.

Wie es technisch funktioniert

Es ist keine andere Architektur. Es ist derselbe Transformer, derselbe Attention-Mechanismus, dieselbe autoregressive Generierung.

Was sich ändert, sind das Training und das Decoding. Und anders als man vermutet, zeigt man ihm nicht Tausende sauber ausformulierter Reasonings zum Nachahmen.

Man macht etwas Cleveres: Man lässt es suchen. Das Modell produziert seine eigenen Versuche, man prüft mechanisch nach, welche davon beim richtigen Ergebnis landen — eine Rechnung lässt sich nachrechnen, ein Programm besteht seine Tests — und verstärkt die Wege, die funktioniert haben. Niemand hat diese Reasonings geschrieben: Das Modell hat sie gefunden, und man hat die behalten, die aufgingen. Das ist das RLVR aus Kapitel 08. DeepSeek hat mit R1-Zero sogar gezeigt, dass ein Modell diese Strategien aus dem Nichts entwickeln kann, ohne ein einziges annotiertes Reasoning-Beispiel.

Bei der Inferenz erhält es ein Budget an Denk-Tokens — eine Grenze dafür, wie viele versteckte Tokens es erzeugen darf. Je größer das Budget, desto mehr kann es erkunden. Ab einem bestimmten Budget hört die Qualität der Antworten auf schwierigen Aufgaben auf, signifikant zuzunehmen.

Ein wichtiges Detail: Die Thinking Tokens werden vor der Antwort erzeugt, im selben Token-Stream. Das Modell „denkt" nicht parallel — es denkt seriell, und das kostet Tokens wie alles andere auch.

Erweitertes Reasoning vs. Chain-of-Thought

Du hast vielleicht schon die Technik des Chain-of-Thought (CoT) gesehen, bei der man das Modell explizit auffordert: „denke Schritt für Schritt". Das ist anders, aber verwandt.

	Chain-of-Thought (geprompted)	Erweitertes Reasoning (nativ)
Wer löst es aus	Der Nutzer im Prompt	Das Modell selbst
Sichtbarkeit	Sichtbar in der Antwort	Versteckt (Thinking Tokens)
Steuerung	Man kann die Schritte lenken	Das Modell wählt seinen Plan
Beispiele	GPT-4 mit „let's think step by step"	o1, o3, Claude mit Extended Thinking

Geprompted CoT verbessert die Leistung ebenfalls — aber natives Reasoning geht weiter, weil das Modell nicht gezwungen ist, ein lesbares Reasoning zu schreiben. Es kann unsaubere Pfade erkunden, Berechnungen anstellen, die es wieder verwirft, sich widersprechen und korrigieren, alles im versteckten Raum.

Wann es sich lohnt

Erweitertes Reasoning verbessert die Leistung deutlich bei:

• Mathematik und Logik — Beweise, kombinatorische Probleme, exakte Arithmetik
• Komplexem Code — Multi-File-Debugging, nicht-triviale Algorithmen
• Strukturiertem Reasoning — Rätsel, verkettete Deduktionen
• Planung — Aufgaben, die eine Strategie vor dem Handeln erfordern

Bei einer einfachen faktischen Frage („Was ist die Hauptstadt von Frankreich?"), bei kreativen Texten oder einer Übersetzung bringt erweitertes Reasoning hingegen nichts — und kostet mehr.

Bei Halluzinationen (Kapitel 13) muss man genauer hinsehen, denn die Intuition führt in die Irre. Wirklich helfen tut das Reasoning bei überprüfbaren Fehlern: eine falsche Rechnung, eine wacklige Deduktion, ein übersehener Fall. Das Modell rollt aus, liest sich noch einmal, fängt sich wieder.

Bei der reinen Faktentreue — ein Name, ein Datum, ein Zitat — ist der Gewinn nicht garantiert. OpenAI hat eigene Messungen veröffentlicht, nach denen o3 bei manchen Wissenstests mehr halluzinierte als sein Vorgänger. Länger nachzudenken lässt keine Information erscheinen, die das Modell nicht hat: Es gibt ihm nur mehr Raum, um eine stimmige Geschichte um das herum zu bauen, was es zu wissen glaubt.

Die Kosten sind die eigentliche Bremse. Thinking Tokens werden wie normale Tokens berechnet. Ein Modell, das 1.000 Denk-Tokens vor einer 30-Token-Antwort erzeugt, stellt dir 1.030 in Rechnung. Bei Millionen von Anfragen zählt das.

Test-Time Compute Scaling

Was Reasoning-Modelle aufgezeigt haben, ist, dass man Intelligenz zur Inferenzzeit kaufen kann: Je mehr Denk-Tokens man zuweist, desto besser werden die Antworten bei schwierigen Aufgaben.

Das nennt man Test-Time Compute Scaling — im Gegensatz zum üblichen Scaling, das die Parameter des Modells im Training erhöht.

Die Kurve ähnelt den klassischen Scaling Laws: Eine Verdopplung des Denk-Budgets verbessert die Leistung, aber mit abnehmenden Erträgen. Ab einem bestimmten Punkt kompensiert längeres Nachdenken nicht mehr.

Und das ist eine wichtige Entdeckung: Die Intelligenz eines LLM ist keine feste Konstante, die durch seine Gewichte bestimmt wird. Sie hängt auch vom Compute ab, den man ihm im Moment der Antwort gibt.

Ein Modell, das lange über ein schwieriges Problem nachdenkt, kann ein größeres Modell übertreffen, das schnell antwortet. Schnelligkeit ist nicht immer eine Tugend.

Aber „lange nachdenken" heißt konkret: tausende Tokens einzeln erzeugen, bevor die Antwort überhaupt beginnt. Und in Kapitel 09 haben wir gesehen, dass jeder Token alle vorangehenden ansehen muss. Müsste der tausendste Token wirklich alles von vorn durchlesen, wäre keiner dieser Reasoning-Modi bezahlbar. Was macht den tausendsten Token so schnell wie den zweiten? Das nächste Kapitel öffnet die Motorhaube der Inferenz.

Aktualisiert am 2. August 2026