Artificial Intelligence (AI)
让机器完成通常需要人类智能才能完成的任务的学科领域。
210 个术语 · 15 个类别
完整词汇表
所有AI术语（英文标准用法）附简单定义。
基础概念
10 个术语Machine Learning (ML)
AI的一个子领域，系统从数据中学习，而非依赖显式编程规则。
Deep Learning
基于多层神经网络的机器学习方法。
Narrow AI
专注于单一特定任务的AI，例如下棋。
AGI (Artificial General Intelligence)
假想中能完成任何人类智力任务的通用AI。
用于： ch.16
Superintelligence
在所有领域都远超人类智能的假想AI。
Symbolic AI
基于规则和形式逻辑的传统AI方法。
Model
从数据中学习得到的数学表示。
Inference
已训练模型进行预测的阶段。
Training
模型从数据中学习参数的阶段。
学习类型
10 个术语Supervised Learning
使用带标签数据（输入→已知输出）进行学习。
Unsupervised Learning
无需标签的学习方式，模型自行发现数据中的隐藏结构。
Self-supervised Learning
模型从数据本身自动生成监督信号进行学习。
用于： ch.06
Reinforcement Learning
通过试错并获得奖励信号来学习的方式。
用于： ch.08
Transfer Learning
将在一个任务上训练好的模型迁移到相似的新任务中。
Few-shot Learning
仅凭极少数样本进行学习的能力。
Zero-shot Learning
无需任何训练样本即可完成任务的能力。
Meta-learning
训练模型快速适应新任务的方法，即让模型学会如何学习。
Federated Learning
在不集中数据的前提下进行分布式训练。
Continual Learning
模型在学习新任务的同时不遗忘旧任务的能力。
神经网络
17 个术语Neuron / Unit
网络中受生物神经元启发的基本计算单元。
Layer
并行处理的一组神经元。
Weights
决定神经元间连接强度的可学习参数。
Bias
加在加权求和结果上的常数项。
Activation Function
应用于神经元输出的非线性函数。
ReLU
最常用的激活函数之一：max(0, x)。
Logits
最后一层输出的原始分数，经softmax之后才变成概率。
Softmax
将向量转换为概率分布的函数。
Forward Pass
从输入到输出的正向计算过程。
Backpropagation
计算梯度以更新权重的算法。
用于： ch.06
Gradient Descent
通过调整权重来最小化误差的优化算法。
Loss Function
衡量预测值与真实值之间差距的函数。
Cross-Entropy Loss
分类任务中常用的标准损失函数。
Optimizer
驱动权重更新的算法，如Adam、SGD等。
Learning Rate
梯度下降时每步更新的步长大小。
用于： ch.06
Epoch
对整个训练集完整遍历一次。
Batch
每次一起处理的一组数据样本。
架构
20 个术语Feedforward Network
信息单向流动的神经网络。
MLP (Multi-Layer Perceptron)
具有全连接层的经典前馈神经网络。
CNN (Convolutional Neural Network)
专为图像设计的神经网络，使用卷积滤波器。
RNN (Recurrent Neural Network)
通过内部状态处理序列数据的神经网络。
用于： ch.04
LSTM
改进版RNN，能记忆更长时间范围内的信息。
用于： ch.04
Transformer
基于注意力机制的架构，自2017年起主导AI领域。
用于： ch.01, ch.02, ch.04, ch.05, ch.07, ch.08, ch.10, ch.15, ch.17, ch.18, ch.20, ch.21
Self-Attention
序列中的每个位置计算自己与同一序列中其他所有位置的关联。
用于： ch.01, ch.02, ch.03, ch.04, ch.05, ch.07, ch.08, ch.09, ch.10, ch.14, ch.15, ch.17, ch.18, ch.21
Cross-Attention
查询来自一个序列、键和值来自另一个序列的注意力，例如文本关注图像，或解码器关注编码器。
Multi-Head Attention
并行运行多个注意力机制以捕捉不同关系。
Encoder-Decoder
用于翻译和生成任务的经典架构。
用于： ch.15
Decoder-only / Autoregressive
现代LLM的架构：单一的模块堆栈逐个生成token，每个token只能看到它之前的内容。
Positional Encoding
将词序信息注入Transformer的方法。
用于： ch.05
RoPE
现代LLM中常用的旋转式位置编码。
用于： ch.05
Residual Connection
跨越若干层的直连，用于稳定训练。
Layer Normalization
用于稳定训练过程的归一化技术。
Mixture of Experts (MoE)
每个token只激活其中少数几个子网络的架构，从而降低计算量。
用于： ch.05
Diffusion Model
通过逐步去噪来生成数据（图像、音频、文本等）的生成模型。
GAN (Generative Adversarial Network)
生成器与判别器相互对抗的双网络架构。
Vision Transformer (ViT)
将Transformer应用于图像处理的模型。
State Space Model / Mamba
处理长序列的Transformer替代架构。
自然语言处理
14 个术语NLP
让机器理解和处理人类语言的学科。
用于： ch.15
Tokenization
将文本拆分为基本单元（token）的过程。
Token
模型处理的基本单位，可以是词、子词或字符。
用于： ch.01, ch.02, ch.03, ch.04, ch.05, ch.06, ch.07, ch.08, ch.09, ch.10, ch.11, ch.12, ch.13, ch.14, ch.15, ch.17, ch.18, ch.19, ch.20, ch.21
BPE (Byte Pair Encoding)
一种广泛使用的子词分词算法。
用于： ch.02
WordPiece / SentencePiece
WordPiece是另一种分词算法；SentencePiece是实现BPE和Unigram的工具库。
用于： ch.02
Vocabulary
模型所能识别的全部token集合。
Embedding
将词或token表示为密集向量的方式。
Cosine Similarity
通过两个向量之间的夹角衡量它们的接近程度，不考虑向量长度。
Word2Vec
一种早期的词向量生成技术。
用于： ch.03
Contextual Embedding
根据句子上下文动态变化的词向量表示。
Named Entity Recognition
识别文本中实体（人名、地名等）的任务。
Sentiment Analysis
检测文本情感倾向的技术。
Speech Recognition (ASR)
将语音转换为文本的技术。
Text-to-Speech (TTS)
将文本转换为语音的技术。
用于： ch.15
语言模型与生成式AI
38 个术语Language Model
预测词序列出现概率的模型。
LLM (Large Language Model)
在数万亿token上训练的超大规模语言模型。
用于： ch.01, ch.02, ch.03, ch.04, ch.05, ch.06, ch.07, ch.08, ch.09, ch.10, ch.11, ch.12, ch.13, ch.15, ch.16, ch.17, ch.18, ch.20, ch.21
Foundation Model
可复用于多种任务的通用大型预训练模型。
Generative AI
能生成文本、图像、音频等内容的AI系统。
Pre-training
在大规模原始数据上进行的初始训练阶段。
Fine-tuning
在特定任务数据上对预训练模型进行调整。
用于： ch.01, ch.06, ch.08, ch.09, ch.11, ch.13, ch.14, ch.19, ch.20
Instruction Tuning
通过微调让模型更好地遵循人类指令。
RLHF
利用人类反馈信号对模型进行强化学习微调。
DPO (Direct Preference Optimization)
RLHF的简化替代方法，直接优化偏好数据。
Constitutional AI
基于一套原则约束模型行为的对齐方法。
用于： ch.08
Prompt
输入给模型的文本内容。
用于： ch.01, ch.07, ch.08, ch.09, ch.10, ch.11, ch.12, ch.17, ch.18, ch.19, ch.20, ch.21
System Prompt
在对话开始前给模型设定行为规范的指令。
Prompt Engineering
设计高效提示词以引导模型输出的技术。
Chain-of-Thought (CoT)
引导模型逐步推理的提示技术。
Self-Consistency
对同一个问题生成多条推理链，然后保留出现次数最多的答案。
用于： ch.12
Few-shot Prompting
在提示词中提供少量示例以引导模型输出。
In-Context Learning
模型根据提示词中的示例即时学习的能力。
Context Window
模型一次能处理的最大文本量。
Temperature
控制输出随机性的参数：低值更可预测，高值更多样，为0时接近确定。
Top-k Sampling
从概率最高的k个token中采样。
Top-p / Nucleus Sampling
从累计概率达到p（如0.9）的最小token集合中采样。
Greedy Decoding
每步选择概率最高的token进行生成。
用于： ch.07
Beam Search
同时探索多条候选序列以寻找最优输出。
用于： ch.07
Hallucination
模型生成看似合理但实为错误的内容。
RAG (Retrieval-Augmented Generation)
模型在生成前检索外部文档以提升准确性。
Chunking
建立索引前把文档切成大小合适的片段：太大则有用的段落被淹没，太小则语义被割裂。
Reranking
用更精细的模型对检索结果做第二轮排序，把真正相关的文档提到前面。
用于： ch.10
Vector Database
专门存储和检索向量嵌入的数据库。
Semantic Search
基于语义相似度而非关键词匹配的检索方式。
Reasoning Model
经过专门优化、能进行深度逐步推理的LLM。
Thinking Tokens
模型给出答案前生成的推理token，相当于内部草稿，通常被隐藏或只显示摘要。
用于： ch.17
Test-time Compute
把算力花在回答时而非训练时：让模型思考更久，难题上的回答会更好。
用于： ch.17
Multimodal Model
能处理多种输入类型（文本、图像、音频等）的模型。
Vision-Language Model
同时理解图像和文本的模型。
Text-to-Image
根据文本描述生成图像的技术。
LoRA
基于低秩矩阵分解的轻量级微调技术。
用于： ch.14
QLoRA
结合量化与LoRA以节省显存的微调方法。
PEFT
参数高效微调方法的统称，只训练少量参数。
用于： ch.14
智能体与工具
8 个术语数据
11 个术语Dataset
用于训练或测试模型的数据集合。
Training / Validation / Test Set
分别用于训练、调参和最终评估的数据集。
Label / Ground Truth
与样本对应的正确答案或标注结果。
Annotation
为数据添加标签的过程。
Data Augmentation
对已有数据做变换生成新变体（旋转、改写等），以丰富训练集。
Synthetic Data
由算法或AI人工生成的数据。
Feature
输入给模型的变量或属性。
用于： ch.20
Feature Engineering
手动构建有意义输入特征的过程。
One-Hot Encoding
将类别变量编码为二进制向量的方法。
Data Drift
部署后数据分布相对训练时逐渐发生偏移的现象。
Data Leakage
测试集信息泄露到训练集，导致评估结果虚高。
训练与优化
13 个术语Hyperparameter
训练前手动设定的参数，如学习率、批大小等。
Cross-Validation
通过多次划分数据进行更可靠评估的方法。
Overfitting
模型过度拟合训练数据，泛化能力差。
用于： ch.06
Underfitting
模型过于简单，无法捕捉数据中的规律。
Regularization
防止过拟合的一系列技术手段。
用于： ch.06
Dropout
训练时随机关闭部分神经元以防止过拟合。
Early Stopping
当验证集误差开始上升时提前终止训练。
Vanishing Gradient
梯度在反向传播中越来越小，导致深层网络难以训练。
Catastrophic Forgetting
模型在学习新任务时遗忘旧任务的现象。
Distillation
将大模型的知识迁移到小模型的技术。
用于： ch.21
Pruning
删除冗余权重以压缩模型体积的技术。
Quantization
降低权重数值精度以减少内存占用的技术。
Scaling Laws
描述模型大小、数据量、计算量与性能之间关系的规律。
评估与指标
12 个术语Accuracy
预测正确的样本占总样本的比例。
Precision
预测为正例中实际为正例的比例。
Recall
实际为正例的样本中，模型找回了多少。
F1 Score
精确率与召回率的调和平均值。
Confusion Matrix
对比预测结果与真实标签的交叉表格。
ROC / AUC
评估分类器性能的曲线及其面积指标。
Perplexity
衡量语言模型不确定性的指标，越低越好。
BLEU / ROUGE
用于评估机器翻译和自动摘要质量的指标。
FID
衡量生成图像质量的指标。
Benchmark
用于比较模型能力的标准化测试，如MMLU-Pro、SWE-bench、GPQA等。
用于： ch.16
LLM-as-a-Judge
用一个LLM给另一个模型的回答打分，快速又便宜，但它本身也带有偏见。
用于： ch.16
Red Teaming
通过对抗性测试发现模型缺陷的方法。
强化学习
8 个术语Agent
在环境中做出决策的实体。
Environment
智能体所处并与之交互的世界。
Policy
智能体的决策策略，将状态映射到动作。
Reward
指示动作好坏的数值信号。
Q-Learning
学习估计每个状态下每个动作价值（Q函数）的强化学习算法。
PPO
广泛使用的强化学习算法，也用于RLHF训练。
Exploration vs Exploitation
在尝试新动作与利用已知最优动作之间权衡的难题。
Reward Hacking
智能体以非预期方式钻奖励函数空子的现象。
用于： ch.11
计算机视觉
9 个术语安全、对齐与伦理
15 个术语AI Alignment
确保AI系统的目标与人类价值观保持一致的研究领域。
AI Safety
致力于让AI可靠、安全、可控的研究领域。
Adversarial Attack
专门设计用来欺骗模型的输入样本。
Jailbreak
绕过LLM安全限制的方法。
用于： ch.08
Prompt Injection
把恶意指令藏在模型会读取的内容里（网页、文档等），以劫持它的行为。
用于： ch.12
Bias (algorithmic)
数据或模型预测中存在的系统性偏差。
Fairness
确保算法决策对不同群体公平一致。
Explainability
理解模型为何做出某一决策的能力。
Mechanistic Interpretability
对网络内部电路做逆向工程，弄清它学到的算法。
Sparse Autoencoder (SAE)
把模型的激活分解成稀疏、可逐个解释的特征的网络。
用于： ch.20
Differential Privacy
在统计数据中保护个人隐私的数学方法。
Deepfake
由AI生成或篡改的虚假媒体内容。
Misalignment
模型实际追求的目标与设计者意图之间的偏差。
Reward Model
预测人类对回答偏好程度的模型。
AI Governance
对AI开发与应用进行监管与治理的机制。
基础设施与MLOps
16 个术语GPU
图形处理器，广泛用于AI计算加速。
TPU
谷歌专为AI训练设计的专用芯片。
CUDA
Nvidia提供的GPU并行计算平台。
FLOPS
每秒浮点运算次数，衡量计算能力的指标。
Distributed Training
在多台机器上并行训练模型。
Data Parallelism
每个GPU使用相同权重处理不同数据的并行方式。
Model Parallelism
将模型拆分到多个GPU上并行运行。
PyTorch / TensorFlow / JAX
主流深度学习框架。
Hugging Face
提供模型、数据集和ML工具的开放平台。
ONNX
用于在不同框架间交换模型的标准格式。
Edge AI
在终端设备上本地运行的AI。
KV Cache
生成过程中缓存已算出的键和值，避免每生成一个新token就重新处理整个上下文。
Speculative Decoding
小模型先提前给出若干个token，大模型一次性验证：输出不变，延迟更低。
Latency
模型响应所需的时间。
用于： ch.18
Throughput
模型每秒处理的推理请求数量。
MLOps
将DevOps实践应用于机器学习的工程方法。
新兴概念
9 个术语Emergent Abilities
模型规模超过某一阈值后似乎突然出现的新能力（这一现象仍有争议）。
用于： ch.19
Scaling
通过增加模型规模、数据量或计算量提升性能。
Open Weights
公开发布权重、可自由下载使用的模型。
Frontier Model
代表当前最先进水平的前沿模型。
Small Language Model (SLM)
体积精简、注重效率的紧凑型语言模型。
Human-in-the-Loop
在学习或决策过程中引入人类参与和监督。
World Model
智能体内部对环境动态变化的预测性表示。
Embodied AI
具身于物理实体（如机器人）中的AI。
Model Card
描述模型能力、局限性和偏差的标准化说明文档。