Artificial Intelligence (AI)
Forschungsfeld, das darauf abzielt, Maschinen Aufgaben ausführen zu lassen, die normalerweise menschliche Intelligenz erfordern.
210 Begriffe · 15 Kategorien
Das vollständige Glossar
Alle KI-Begriffe auf Englisch (der Standardgebrauch) mit einfachen Definitionen.
Grundkonzepte
10 BegriffeMachine Learning (ML)
Teilgebiet der KI, bei dem ein System aus Daten lernt, anstatt explizit programmiert zu werden.
Deep Learning
ML auf Basis neuronaler Netze mit vielen Schichten.
Narrow AI
KI, die auf eine einzelne Aufgabe spezialisiert ist (z. B. Schachspielen).
AGI (Artificial General Intelligence)
Hypothetische KI, die jede intellektuelle Aufgabe eines Menschen erfüllen kann.
Verwendet in: ch.16
Superintelligence
KI, die menschliche Intelligenz in allen Bereichen weit übertreffen würde.
Symbolic AI
Klassischer Ansatz auf Basis expliziter Regeln und formaler Logik.
Model
Mathematische Repräsentation, die aus Daten gelernt wurde.
Inference
Phase, in der ein trainiertes Modell Vorhersagen trifft.
Training
Phase, in der das Modell aus Daten lernt.
Lerntypen
10 BegriffeSupervised Learning
Lernen aus beschrifteten Daten (Eingabe → bekannte Ausgabe).
Unsupervised Learning
Lernen ohne Labels; das Modell entdeckt verborgene Strukturen in den Daten.
Self-supervised Learning
Das Modell erzeugt seine eigenen Labels aus den Daten.
Verwendet in: ch.06
Reinforcement Learning
Lernen durch Versuch und Irrtum mit Belohnungssignalen.
Verwendet in: ch.08
Transfer Learning
Wiederverwendung eines für eine Aufgabe trainierten Modells für eine ähnliche Aufgabe.
Few-shot Learning
Lernen aus sehr wenigen Beispielen.
Zero-shot Learning
Bewältigung einer Aufgabe ohne Trainingsbeispiele dafür.
Meta-learning
“Lernen zu lernen” — ein Modell trainieren, das sich schnell an neue Aufgaben anpasst.
Federated Learning
Verteiltes Training ohne Zentralisierung der Daten.
Continual Learning
Das Modell lernt neue Aufgaben, ohne frühere zu vergessen.
Neuronale Netze
17 BegriffeNeuron / Unit
Grundlegende Recheneinheit eines Netzes, angelehnt an biologische Neuronen.
Layer
Eine Gruppe von Neuronen, die parallel verarbeitet werden.
Weights
Parameter, die die Verbindungen zwischen Neuronen gewichten.
Bias
Ein konstanter Term, der zur gewichteten Summe addiert wird.
Activation Function
Nichtlineare Funktion, die auf die Ausgabe eines Neurons angewendet wird.
ReLU
Sehr gebräuchliche Aktivierungsfunktion: max(0, x).
Logits
Rohwerte der letzten Schicht, bevor Softmax sie in Wahrscheinlichkeiten umwandelt.
Softmax
Wandelt einen Vektor in eine Wahrscheinlichkeitsverteilung um.
Forward Pass
Berechnung der Ausgabe aus einer gegebenen Eingabe.
Backpropagation
Berechnung der Gradienten zur Aktualisierung der Gewichte.
Verwendet in: ch.06
Gradient Descent
Algorithmus, der Gewichte anpasst, um den Fehler zu minimieren.
Verwendet in: ch.03, ch.04, ch.05, ch.06, ch.08, ch.14, ch.21
Loss Function
Misst den Fehler zwischen Vorhersage und tatsächlichem Wert.
Cross-Entropy Loss
Standardverlustfunktion für Klassifikationsaufgaben.
Optimizer
Algorithmus, der die Gewichtsaktualisierung steuert (Adam, SGD usw.).
Learning Rate
Schrittgröße beim Gradientenabstieg.
Verwendet in: ch.06
Epoch
Ein vollständiger Durchlauf über den Trainingsdatensatz.
Batch
Eine Teilmenge von Daten, die gemeinsam verarbeitet wird.
Architekturen
20 BegriffeFeedforward Network
Netz, bei dem Informationen nur in eine Richtung fließen.
MLP (Multi-Layer Perceptron)
Klassisches Feedforward-Netz mit vollständig verbundenen Schichten.
CNN (Convolutional Neural Network)
Auf Bilder spezialisiertes Netz mit Faltungsfiltern.
RNN (Recurrent Neural Network)
Verarbeitet Sequenzen und speichert dabei einen internen Zustand.
Verwendet in: ch.04
LSTM
Verbessertes RNN, das Informationen über lange Sequenzen hinweg speichern kann.
Verwendet in: ch.04
Transformer
Aufmerksamkeitsbasierte Architektur, die seit 2017 die KI dominiert.
Verwendet in: ch.01, ch.02, ch.04, ch.05, ch.07, ch.08, ch.10, ch.15, ch.17, ch.18, ch.20, ch.21
Self-Attention
Jede Position einer Sequenz berechnet ihre Beziehung zu allen anderen Positionen derselben Sequenz.
Verwendet in: ch.01, ch.02, ch.03, ch.04, ch.05, ch.07, ch.08, ch.09, ch.10, ch.14, ch.15, ch.17, ch.18, ch.21
Cross-Attention
Aufmerksamkeit, bei der die Queries aus einer Sequenz und die Keys/Values aus einer anderen stammen — Text, der ein Bild betrachtet, oder Decoder, der auf den Encoder schaut.
Multi-Head Attention
Mehrere Aufmerksamkeitsmechanismen, die parallel laufen.
Encoder-Decoder
Klassische Architektur für Übersetzungs- und Generierungsaufgaben.
Verwendet in: ch.15
Decoder-only / Autoregressive
Architektur moderner LLMs: ein einziger Stapel von Blöcken erzeugt Token für Token, wobei jedes Token nur die vorherigen sieht.
Positional Encoding
Injiziert Wortpositionsinformation in einen Transformer.
Verwendet in: ch.05
RoPE
Modernes rotationsbasiertes Positionsencoding, häufig in LLMs verwendet.
Verwendet in: ch.05
Residual Connection
Verbindung, die Schichten überspringt, um das Training zu stabilisieren.
Layer Normalization
Normalisierung zur Stabilisierung des Trainings.
Mixture of Experts (MoE)
Architektur, bei der pro Token nur einige wenige Teilnetze (“Experten”) aktiviert werden, was den Rechenaufwand senkt.
Verwendet in: ch.05
Diffusion Model
Generatives Modell, das lernt, Daten (Bild, Audio, Text …) schrittweise zu entrauschen.
GAN (Generative Adversarial Network)
Zwei konkurrierende Netze: Generator und Diskriminator.
Vision Transformer (ViT)
Transformer-Architektur, angewendet auf Bilder.
State Space Model / Mamba
Alternative Architektur zum Transformer für lange Sequenzen.
Sprachverarbeitung
14 BegriffeNLP
Forschungsfeld der maschinellen Verarbeitung und des Verstehens natürlicher Sprache.
Verwendet in: ch.15
Tokenization
Aufteilung eines Textes in Einheiten (Tokens).
Token
Grundlegende Einheit, die ein Modell verarbeitet (Wort, Teilwort oder Zeichen).
Verwendet in: ch.01, ch.02, ch.03, ch.04, ch.05, ch.06, ch.07, ch.08, ch.09, ch.10, ch.11, ch.12, ch.13, ch.14, ch.15, ch.17, ch.18, ch.19, ch.20, ch.21
BPE (Byte Pair Encoding)
Weit verbreiteter Tokenisierungsalgorithmus.
Verwendet in: ch.02
WordPiece / SentencePiece
WordPiece: ein weiterer Tokenisierungsalgorithmus. SentencePiece: eine Bibliothek, die BPE und Unigram implementiert.
Verwendet in: ch.02
Vocabulary
Die Menge aller dem Modell bekannten Tokens.
Embedding
Dichte Vektorrepräsentation eines Wortes oder Tokens.
Verwendet in: ch.01, ch.03, ch.04, ch.05, ch.10, ch.11, ch.15, ch.21
Cosine Similarity
Misst die Nähe zweier Vektoren über den Winkel zwischen ihnen, unabhängig von ihrer Länge.
Word2Vec
Ältere Methode zur Erzeugung von Wortembeddings.
Verwendet in: ch.03
Contextual Embedding
Embedding, das vom Kontext des umgebenden Satzes abhängt.
Named Entity Recognition
Erkennung benannter Entitäten im Text (Personen, Orte usw.).
Sentiment Analysis
Erkennung der emotionalen Stimmung eines Textes.
Speech Recognition (ASR)
Umwandlung gesprochener Sprache in Text.
Text-to-Speech (TTS)
Umwandlung von Text in gesprochene Sprache.
Verwendet in: ch.15
Sprachmodelle & Generative KI
38 BegriffeLanguage Model
Modell, das die Wahrscheinlichkeit einer Wortfolge vorhersagt.
LLM (Large Language Model)
Sehr großes Sprachmodell, trainiert auf Billionen von Tokens.
Verwendet in: ch.01, ch.02, ch.03, ch.04, ch.05, ch.06, ch.07, ch.08, ch.09, ch.10, ch.11, ch.12, ch.13, ch.15, ch.16, ch.17, ch.18, ch.20, ch.21
Foundation Model
Allgemeines Modell, das für viele verschiedene Aufgaben wiederverwendet werden kann.
Generative AI
KI, die Inhalte erzeugen kann (Text, Bilder, Audio usw.).
Pre-training
Ersttraining auf großen Mengen unstrukturierter Daten.
Fine-tuning
Anpassung eines vortrainierten Modells an eine spezifische Aufgabe.
Verwendet in: ch.01, ch.06, ch.08, ch.09, ch.11, ch.13, ch.14, ch.19, ch.20
Instruction Tuning
Fine-tuning, damit das Modell menschliche Anweisungen befolgt.
RLHF
Verbesserung eines Modells mithilfe von menschlichem Feedback.
DPO (Direct Preference Optimization)
Vereinfachte Alternative zu RLHF.
Constitutional AI
Alignment-Methode auf Basis eines Satzes von Leitprinzipien.
Verwendet in: ch.08
Prompt
Eingabetext, der dem Modell übergeben wird.
Verwendet in: ch.01, ch.07, ch.08, ch.09, ch.10, ch.11, ch.12, ch.17, ch.18, ch.19, ch.20, ch.21
System Prompt
Allgemeine Anweisungen, die dem Modell vor dem Gespräch gegeben werden.
Prompt Engineering
Die Kunst, effektive Prompts zu formulieren.
Chain-of-Thought (CoT)
Das Modell dazu bringen, Schritt für Schritt zu denken.
Self-Consistency
Mehrere Gedankenketten zur selben Frage erzeugen und die häufigste Antwort behalten.
Verwendet in: ch.12
Few-shot Prompting
Dem Modell einige Beispiele direkt im Prompt mitgeben.
In-Context Learning
Fähigkeit des Modells, aus Beispielen im Prompt zu lernen.
Context Window
Textmenge, die das Modell auf einmal verarbeiten kann.
Temperature
Steuert die Zufälligkeit der Ausgaben (niedrig = vorhersehbar, hoch = vielfältig; 0 = nahezu deterministisch).
Top-k Sampling
Stichprobenziehung aus den k wahrscheinlichsten Tokens.
Top-p / Nucleus Sampling
Stichprobenziehung aus der kleinsten Tokenmenge, deren kumulierte Wahrscheinlichkeit p erreicht (z. B. 0,9).
Greedy Decoding
Immer den wahrscheinlichsten nächsten Token auswählen.
Verwendet in: ch.07
Beam Search
Parallele Erkundung mehrerer Kandidatensequenzen.
Verwendet in: ch.07
Hallucination
Das Modell erfindet falsche, aber plausibel klingende Informationen.
RAG (Retrieval-Augmented Generation)
Das Modell ruft externe Dokumente ab, bevor es antwortet.
Verwendet in: ch.01, ch.03, ch.08, ch.10, ch.11, ch.13, ch.14
Chunking
Dokumente vor dem Indexieren in passend große Stücke zerlegen — zu groß, und die nützliche Stelle geht unter; zu klein, und der Sinn geht verloren.
Reranking
Zweiter Durchgang, der die gefundenen Dokumente mit einem feineren Modell neu sortiert, damit die wirklich relevanten nach oben rücken.
Verwendet in: ch.10
Vector Database
Datenbank, die Embeddings speichert und nach Ähnlichkeit durchsucht.
Semantic Search
Suche nach Bedeutung statt nach exakter Übereinstimmung von Schlüsselwörtern.
Reasoning Model
LLM, das für ausgedehntes Denken vor der Antwort optimiert ist.
Thinking Tokens
Denk-Tokens, die ein Modell vor seiner Antwort erzeugt — ein interner Entwurf, oft verborgen oder nur zusammengefasst.
Verwendet in: ch.17
Test-time Compute
Rechenaufwand beim Antworten statt beim Training: Lässt man ein Modell länger nachdenken, werden seine Antworten bei schweren Aufgaben besser.
Verwendet in: ch.17
Multimodal Model
Modell, das mehrere Eingabetypen verarbeitet (Text, Bild, Audio usw.).
Vision-Language Model
Modell, das Text und Bilder gemeinsam versteht.
Text-to-Image
Generierung eines Bildes aus einer Textbeschreibung.
LoRA
Leichtgewichtige Fine-tuning-Methode auf Basis von Niederrang-Matrixzerlegung.
Verwendet in: ch.14
QLoRA
LoRA kombiniert mit Quantisierung zur Reduzierung des Speicherbedarfs.
PEFT
Familie von parametereffizienten Fine-tuning-Methoden.
Verwendet in: ch.14
Agenten & Werkzeuge
8 BegriffeAI Agent
KI-System, das ein Ziel durch mehrere Schritte und Werkzeuge verfolgt.
Tool Use / Function Calling
Fähigkeit des Modells, externe Funktionen aufzurufen.
Verwendet in: ch.11
ReAct
Muster, das Schlussfolgern und Handeln abwechselnd kombiniert.
Verwendet in: ch.11
Planning
Fähigkeit eines Agenten, ein Ziel in Teilaufgaben zu zerlegen.
Multi-Agent System
Mehrere Agenten, die zusammenarbeiten oder sich koordinieren.
MCP (Model Context Protocol)
Standardprotokoll zum Verbinden von Werkzeugen mit einem LLM.
Verwendet in: ch.11
Computer Use
Fähigkeit eines Agenten, einen Computer zu bedienen.
Verwendet in: ch.11
Agentic AI
KI, die eigenständig in einer Umgebung handelt.
Daten
11 BegriffeDataset
Sammlung von Daten zum Training oder zur Evaluation eines Modells.
Training / Validation / Test Set
Datenteilmengen für Training, Abstimmung und Evaluation.
Label / Ground Truth
Die korrekte Antwort, die einem Trainingsbeispiel zugeordnet ist.
Annotation
Das Versehen von Daten mit Beschriftungen.
Data Augmentation
Varianten vorhandener Daten erzeugen (Drehungen, Umformulierungen …), um das Training anzureichern.
Synthetic Data
Künstlich erzeugte Daten, zum Beispiel durch eine KI.
Feature
Eine Eingabevariable, die das Modell verwendet.
Verwendet in: ch.20
Feature Engineering
Manuelle Erstellung relevanter Eingabevariablen.
One-Hot Encoding
Kodierung einer Kategorie als binären Vektor.
Data Drift
Allmähliche Verschiebung der Datenverteilung gegenüber dem Training.
Data Leakage
Wenn Testinformationen ins Training einfließen und Ergebnisse verfälschen.
Training & Optimierung
13 BegriffeHyperparameter
Parameter, der vor dem Training festgelegt wird (Lernrate, Batchgröße usw.).
Cross-Validation
Modellbewertung durch mehrfache Aufteilung der Daten.
Overfitting
Das Modell memoriert die Trainingsdaten und generalisiert schlecht.
Verwendet in: ch.06
Underfitting
Das Modell ist zu einfach, um das Signal in den Daten zu erfassen.
Regularization
Techniken, die Overfitting entgegenwirken.
Verwendet in: ch.06
Dropout
Zufälliges Deaktivieren von Neuronen während des Trainings.
Early Stopping
Training beenden, wenn der Validierungsfehler wieder steigt.
Vanishing Gradient
Gradienten werden zu klein, um frühe Schichten effektiv zu trainieren.
Catastrophic Forgetting
Das Modell vergisst alte Aufgaben beim Lernen neuer.
Distillation
Wissen von einem großen Modell auf ein kleineres übertragen.
Verwendet in: ch.21
Pruning
Entfernen redundanter Gewichte, um das Modell zu verkleinern.
Quantization
Reduzierung der numerischen Präzision der Gewichte.
Scaling Laws
Zusammenhänge zwischen Modellgröße, Daten, Rechenaufwand und Leistung.
Evaluation & Metriken
12 BegriffeAccuracy
Anteil der korrekten Vorhersagen.
Precision
Von allen positiven Vorhersagen, wie viele tatsächlich korrekt sind.
Recall
Von allen tatsächlich positiven Fällen, wie viele das Modell davon findet.
F1 Score
Harmonisches Mittel aus Precision und Recall.
Confusion Matrix
Tabelle, die Vorhersagen dem tatsächlichen Wert gegenüberstellt.
ROC / AUC
Kurve und Fläche darunter zur Bewertung eines Klassifikators.
Perplexity
Maß für die Unsicherheit eines Sprachmodells (niedriger ist besser).
BLEU / ROUGE
Metriken zur Bewertung von maschineller Übersetzung und Textzusammenfassung.
FID
Maß für die Qualität generierter Bilder.
Benchmark
Standardisierter Test zum Vergleich von Modellen (MMLU-Pro, SWE-bench, GPQA usw.).
Verwendet in: ch.16
LLM-as-a-Judge
Ein LLM bewertet die Antworten eines anderen Modells — schnell und günstig, aber mit eigenen Verzerrungen.
Verwendet in: ch.16
Red Teaming
Adversarielle Tests, um Schwachstellen eines Modells zu finden.
Bestärkendes Lernen
8 BegriffeAgent
Entität, die in einer Umgebung Entscheidungen trifft.
Environment
Die Welt, in der ein Agent agiert.
Policy
Die Strategie des Agenten (Zustand → Aktion).
Reward
Numerisches Signal, das die Güte einer Aktion anzeigt.
Q-Learning
RL-Algorithmus, der lernt, den Wert jeder Aktion in jedem Zustand zu schätzen (die Q-Funktion).
PPO
Weit verbreiteter RL-Algorithmus, insbesondere im RLHF-Kontext.
Exploration vs Exploitation
Abwägung zwischen dem Ausprobieren neuer Aktionen und dem Nutzen bekannt guter.
Reward Hacking
Der Agent findet ungewollte Wege, das Belohnungssignal zu maximieren.
Verwendet in: ch.11
Bildverarbeitung
9 BegriffeComputer Vision
KI-Forschungsfeld zur Verarbeitung von Bildern und Videos.
Image Classification
Zuweisung einer Kategorie zu einem Bild.
Object Detection
Lokalisierung und Klassifikation von Objekten in einem Bild.
Semantic Segmentation
Klassifikation jedes einzelnen Pixels in einem Bild.
OCR
Erkennung von Text in Bildern.
CLIP
Modell, das Bilder und Texte in denselben Embedding-Raum abbildet — die Brücke, über die Bildgeneratoren einen Prompt verstehen.
YOLO / R-CNN
Klassische Architekturen zur Objekterkennung.
SAM (Segment Anything)
Universelles Segmentierungsmodell.
NeRF
Gelernte 3D-Repräsentation einer Szene aus 2D-Bildern.
Sicherheit, Alignment & Ethik
15 BegriffeAI Alignment
Sicherstellen, dass KI-Systeme Ziele verfolgen, die mit menschlichen Werten übereinstimmen.
AI Safety
Forschungsfeld zur Entwicklung zuverlässiger, kontrollierbarer und ungefährlicher KI.
Adversarial Attack
Eingabe, die so gestaltet ist, dass sie ein Modell täuscht.
Jailbreak
Umgehung der Sicherheitsmechanismen eines LLM.
Verwendet in: ch.08
Prompt Injection
Bösartige Anweisungen, die in einem Inhalt versteckt sind, den das Modell verarbeitet (Webseite, Dokument …), um sein Verhalten zu kapern.
Verwendet in: ch.12
Bias (algorithmic)
Systematische Verzerrungen in Daten oder Modellvorhersagen.
Fairness
Gerechtigkeit bei algorithmischen Entscheidungen.
Explainability
Fähigkeit, die Entscheidungen eines Modells nachvollziehbar zu machen.
Mechanistic Interpretability
Reverse Engineering der internen Schaltkreise eines Netzes, um die von ihm gelernten Algorithmen zu verstehen.
Sparse Autoencoder (SAE)
Netz, das die Aktivierungen eines Modells in dünn besetzte, einzeln interpretierbare Features zerlegt.
Verwendet in: ch.20
Differential Privacy
Formale Methode zum Schutz der Privatsphäre einzelner Personen in Daten.
Deepfake
Von einer KI erzeugter synthetischer Medieninhalt, der echt wirken soll.
Misalignment
Abweichung zwischen dem, was das Modell tatsächlich verfolgt, und den Absichten seiner Entwickler.
Reward Model
Modell, das vorhersagt, wie Menschen eine Antwort bewerten würden.
AI Governance
Rahmenbedingungen und Regulierung zur Aufsicht über KI-Entwicklung.
Infrastruktur & MLOps
16 BegriffeGPU
Grafikprozessor, der für KI-Workloads weit verbreitet ist.
TPU
Von Google entwickelter spezialisierter KI-Beschleunigungschip.
CUDA
Nvidias Parallelrechenplattform für GPU-Programmierung.
FLOPS
Gleitkommaoperationen pro Sekunde — ein Maß für Rechenleistung.
Distributed Training
Training, das auf mehrere Maschinen verteilt wird.
Data Parallelism
Gleiche Gewichte, unterschiedliche Daten auf jeder GPU.
Model Parallelism
Das Modell wird auf mehrere GPUs aufgeteilt.
PyTorch / TensorFlow / JAX
Die wichtigsten Deep-Learning-Frameworks.
Hugging Face
Plattform für Modelle, Datensätze und ML-Werkzeuge.
ONNX
Standardformat zum Austausch von Modellen zwischen Frameworks.
Edge AI
KI, die auf eingebetteter oder lokaler Hardware ausgeführt wird.
KV Cache
Speicher für die bereits berechneten Keys und Values während der Generierung: erspart es, für jedes neue Token den gesamten Kontext erneut zu verarbeiten.
Speculative Decoding
Ein kleines Modell schlägt mehrere Tokens im Voraus vor, das große prüft sie in einem Zug — gleiche Ausgabe, geringere Latenz.
Latency
Die Antwortzeit eines Modells.
Verwendet in: ch.18
Throughput
Anzahl der Inferenzen, die pro Sekunde verarbeitet werden.
MLOps
DevOps-Praktiken, angewendet auf maschinelles Lernen.
Aufkommende Konzepte
9 BegriffeEmergent Abilities
Fähigkeiten, die ab einer bestimmten Modellgröße plötzlich aufzutreten scheinen (ein umstrittenes Phänomen).
Verwendet in: ch.19
Scaling
Vergrößerung von Modell, Datenmenge oder Rechenleistung zur Leistungssteigerung.
Open Weights
Modell, dessen Gewichte öffentlich verfügbar sind.
Frontier Model
Modell an der Spitze der aktuellen Leistungsfähigkeit.
Small Language Model (SLM)
Kompaktes Sprachmodell, auf Effizienz optimiert.
Human-in-the-Loop
Einbindung von Menschen in den Lern- oder Entscheidungsprozess.
World Model
Internes Modell eines Agenten, das die Entwicklung der Umgebung vorhersagt.
Embodied AI
KI, die in einem physischen Körper wie einem Roboter verkörpert ist.
Model Card
Dokument, das Fähigkeiten, Grenzen und Verzerrungen eines Modells beschreibt.