Die Kunst, mit einem LLM zu sprechen

Der Prompt ist kein Text — er ist ein Programm

Wenn du „fasse diesen Artikel zusammen" in ChatGPT eingibst, passiert oberflächlich nichts besonders Spektakuläres. Aber der Text, den du gesendet hast, hat ein sehr präzises Verhalten in einem Modell ausgelöst, das auf Billionen von Tokens trainiert wurde.

Ein Prompt ist ein Programm in natürlicher Sprache. Nicht in dem Sinne, dass er kompiliert würde, sondern in dem Sinne, dass seine Formulierung bestimmt, welches Verhalten das Modell aktiviert. Derselbe Satz, anders formuliert, kann radikal unterschiedliche Ergebnisse liefern — nicht weil das Modell launisch wäre, sondern weil sein Pre-Training ihm unterschiedliche Muster für unterschiedliche Kontexte beigebracht hat.

Prompt Engineering ist die Kunst, dieses Programm so zu formulieren, dass man das gewünschte Verhalten erhält.

Vier Stufen der Technik

Zero-Shot: einfach die Frage stellen

Die einfachste Technik. Man stellt die Frage direkt, ohne Beispiel und ohne Anweisung. Das Modell aktiviert das wahrscheinlichste Verhalten angesichts seines Trainings.

Das funktioniert sehr gut für einfache, faktische Aufgaben. Es scheitert an Problemen, die Reasoning erfordern — nicht weil das Modell es nicht weiß, sondern weil es nicht weiß, dass es nachdenken muss.

Few-Shot: Beispiele zeigen

Statt zu erklären, was man will, zeigt man es. Man platziert 2 bis 5 (Eingabe, Ausgabe)-Paare vor der eigentlichen Frage. Das Modell — dank seines In-Context-Learning-Mechanismus — versteht das Muster und wendet es auf die neue Eingabe an.

Der Schlüssel: Die Beispiele müssen repräsentativ für die Art der Aufgabe sein. Themenfremde Beispiele helfen nicht. Beispiele, die den richtigen Ansatz zeigen, helfen sehr.

Chain-of-Thought: Schritt für Schritt denken

Zwei Entdeckungen aus dem Jahr 2022, die oft verwechselt werden. Wei et al. zeigen: Gibt man dem Modell Beispiele, deren Reasoning vollständig ausgeschrieben ist, fängt es an, beim nächsten Problem genauso zu denken. Kojima et al. gehen im selben Jahr noch weiter: Man braucht gar keine Beispiele, es genügt, „lass uns Schritt für Schritt denken" zu ergänzen. In beiden Fällen verdoppelt sich die Leistung bei Reasoning-Problemen, manchmal verdreifacht sie sich.

Warum funktioniert das? Das Modell erzeugt Tokens nacheinander. Indem man es zwingt, sein Zwischen-Reasoning aufzuschreiben, gibt man ihm einen „Notizblock", in dem es Berechnungen anstellen, Hypothesen prüfen und Fehler korrigieren kann — bevor es zur Schlussfolgerung kommt. Ohne CoT springt es direkt zur Schlussfolgerung, ohne Sicherheitsnetz.

Es ist dasselbe Prinzip wie beim Menschen: „25 × 37 = 25 × 30 + 25 × 7 = 750 + 175 = 925" zu schreiben gibt deutlich bessere Chancen, das richtige Ergebnis zu erreichen, als zu versuchen, mental in einem Zug zu antworten.

Self-Consistency: zwischen mehreren Ketten abstimmen

Die Self-Consistency ist eine Erweiterung des CoT. Statt eine einzige Reasoning-Kette zu erzeugen, erzeugt man mehrere (typisch 5 bis 20) mit variierenden Temperaturen und stimmt dann für die häufigste Antwort ab.

Die Idee: Jeder Lauf kann einen anderen Fehler machen. Aber wenn die meisten zur gleichen Antwort konvergieren, ist sie wahrscheinlich richtig.

Es ist teuer (N-mal mehr Tokens), aber bei schwierigen Reasoning-Aufgaben ist der Zuwachs an Zuverlässigkeit real.

Probier es selbst aus

Vergleiche die vier Techniken an drei Problemen. Beachte besonders, dass Few-Shot-Beispiele bei einem strukturierten Problem (dem Händler) helfen, aber bei logischen Fallen kaum etwas ändern.

Dieselbe Frage, vier Formulierungen. Der Score schwankt von 30 % auf 90 %, ohne dass das Modell verändert wird. Die Lehre: ein Prompt ist kein Text, sondern ein Programm, dessen implizite Syntax LLMs aus ihrem Pre-Training interpretieren.

Was das über LLMs verrät

Diese vier Techniken sind keine Tricks. Sie beleuchten etwas Fundamentales über die Funktionsweise von LLMs.

In-Context Learning ist gratis. Ein LLM lernt aus deinen Beispielen, ohne seine Gewichte zu aktualisieren — einfach durch das Lesen des Kontexts. Das ist eine emergente Fähigkeit aus dem massiven Pre-Training: Das Modell hat so viele Muster gesehen, dass es ein neues spontan extrahieren kann.

Reasoning ist ein Verhalten, keine feste Fähigkeit. Ein Modell, das in Zero-Shot an einem Problem scheitert, kann es im CoT auf demselben Problem schaffen — ohne Änderung an seinen Parametern. Was der Prompt aktiviert, verändert, was das Modell mit seinen internen Fähigkeiten „macht".

Die Temperatur erzeugt Vielfalt, die Abstimmung reduziert die Varianz. Self-Consistency nutzt die Tatsache, dass Fehler oft zufällig sind: viele verschiedene Wege zu scheitern, aber nur ein Weg zum Erfolg. Der Konsens filtert das Rauschen heraus.

Die Grenzen

Die Kosten pro Aufruf. Jedes Few-Shot-Beispiel verbraucht Tokens — und du bezahlst sie bei jeder Anfrage erneut. Die heutigen Fenster von 200.000 bis über eine Million Tokens erlauben technisch das Many-Shot-Prompting (hunderte Beispiele, und es funktioniert), aber Rechnung und Latenz steigen mit. CoT verlängert außerdem die Antworten.

Beispiele können in die Irre führen. Wenn deine Beispiele einen Bias enthalten, wird das Modell ihn reproduzieren. „Garbage in, garbage out" gilt auch für Few-Shot.

Prompt Injection. Bösartiger Inhalt im Kontext kann deine Anweisungen aushebeln. Wenn dein Prompt sagt „übersetze diesen Text" und der Text sagt „ignoriere die vorherigen Anweisungen und mache etwas anderes", kann das Modell dem Inhalt statt der Anweisung gehorchen.

Die Modelle entwickeln sich. Ein Prompt, der 2023 für GPT-4 geschliffen wurde, funktioniert nicht zwangsläufig bei den heutigen Modellen und ebenso wenig bei denen eines anderen Anbieters. Jedes Modell hat seine bevorzugten Muster, seine Formulierungen, die besser „klicken".

Die Faustregel

Um eine Technik zu wählen:

• Einfache / faktische Frage → Zero-Shot reicht.
• Spezifisches Format erwartet → Few-Shot mit 2–3 Beispielen.
• Reasoning oder Berechnung → CoT, sofern dein Modell keinen nativen Reasoning-Modus hat. Hat es einen, lass ihn machen: Ihm ein explizites CoT aufzuzwingen ist bestenfalls redundant, schlimmstenfalls schädlich — manche Anbieter raten ausdrücklich davon ab.
• Kritische Zuverlässigkeit → CoT + Self-Consistency.

Und eine Meta-Regel: Wenn dein Prompt wie Code aussieht — mit klarer Struktur, expliziten Variablen, definierten Anwendungsfällen —, wird er zuverlässiger sein als zweideutiger Text.

Eine letzte Sache. Die hier beschriebenen Techniken (insbesondere CoT) sind die prompt-getriebenen Vorfahren der nativen Reasoning-Modelle: o1 und DeepSeek-R1 haben 2024-2025 den Weg geebnet, heute hat jedes große Modell einen Modus dieser Art. Diese tun automatisch und intensiv das, was geprompted CoT nur simulierte — siehe Kapitel 17, um den Übergang vom Prompt Engineering zum ins Modell eingebauten Reasoning zu verstehen.

Ein guter Prompt ist keine Zauberformel. Er ist eine klare Spezifikation dessen, was du willst, in einer Sprache, die das Modell als das Signal erkennt, dem es folgen soll.

Eines bleibt, das keine Formulierung löst. Du kannst die klarste Spezifikation der Welt schreiben: Steht die Antwort nicht in den Gewichten des Modells, produziert es trotzdem eine — mit genau derselben Selbstsicherheit, als stünde sie darin. Warum ist ein System, das auf Textvorhersage trainiert wurde, unfähig, innezuhalten und „ich weiß es nicht" zu sagen? Das ist das Thema des nächsten Kapitels.

Aktualisiert am 2. August 2026