#机器学习与深度学习 · 面试清单
面试权重：★★★★☆ 算法岗必考；「偏差方差」「过拟合对策」「评估指标选型」是三大高频起点。
#一、基础概念
| 术语 | 一句话释义 |
|---|---|
| 监督 / 无监督 / 半监督 / 自监督 | 有标签 / 无标签 / 少量标签 / 从数据本身构造标签（如掩码预测） |
| 分类 vs 回归 vs 排序 | 输出离散类别 / 连续值 / 相对次序 |
| 训练集 / 验证集 / 测试集 | 训练学参数、验证调超参、测试估泛化；测试集只能用一次 |
| 交叉验证 | K 折轮换训练与验证，适合小数据集，代价是训练 K 次 |
| 欠拟合 vs 过拟合 | 欠拟合是模型太弱学不到规律，过拟合是把噪声也记住了 |
| 偏差-方差分解 | 偏差是系统性偏离（欠拟合），方差是对训练集的敏感度（过拟合），总误差 = 偏差² + 方差 + 不可约噪声 |
| 维数灾难 | 维度升高后样本变得稀疏、距离失去区分度，需要降维或更多数据 |
| 没有免费午餐定理 | 不存在对所有问题都最优的算法，必须结合数据分布先验选型 |
| 奥卡姆剃刀 | 同样效果下选更简单的模型，泛化通常更好 |
| 生成模型 vs 判别模型 | 建模特征与标签的联合分布（朴素贝叶斯）vs 直接建模给定特征下的标签概率（逻辑回归、SVM） |
#二、经典模型
| 术语 | 一句话释义 |
|---|---|
| 线性回归 | 最小化均方误差拟合线性关系，有解析解，是理解一切模型误差的起点 |
| 逻辑回归 | 线性模型 + Sigmoid 输出概率，用交叉熵损失，是分类的基线 |
| Sigmoid / Tanh / ReLU | 有上界易饱和 / 零中心仍饱和 / 计算简单且缓解梯度消失，但存在神经元死亡 |
| Softmax | 把 K 个 logit 转成和为 1 的概率分布，配交叉熵损失 |
| KNN | 无训练过程、靠邻近样本投票；K 太小易受噪点影响，需要距离度量与归一化 |
| 朴素贝叶斯 | 假设特征条件独立，计算极快，适合文本分类基线 |
| 决策树 | 按信息增益（ID3）/增益率（C4.5）/基尼指数（CART）递归划分 |
| 信息熵 / 信息增益 | 熵衡量不确定性，增益是划分前后熵的下降量 |
| 集成学习 | 组合多个弱模型提升效果；Bagging 降方差、Boosting 降偏差、Stacking 学融合 |
| 随机森林 | Bagging + 特征随机采样，抗过拟合、可输出特征重要性 |
| GBDT / XGBoost / LightGBM | 梯度提升树家族，表格数据上的王者；XGBoost 用二阶信息与正则项，LightGBM 用直方图与叶子生长策略更快 |
| SVM 与最大间隔 | 找间隔最大的超平面，靠支持向量决定边界 |
| 核技巧 Kernel Trick | 不显式计算高维映射，直接用核函数算内积，实现非线性可分 |
| 软间隔与 C 参数 | 允许少量越界样本；C 越大越不允许错分、越易过拟合 |
| K-Means | 迭代「分配 + 更新质心」，需预设 K 且对初值与量纲敏感 |
| 层次聚类 / DBSCAN | 树状合并无需预设 K；密度聚类可发现任意形状并识别噪声 |
| PCA | 用方差最大的正交方向降维，是无监督的线性方法 |
| t-SNE / UMAP | 非线性降维，主要用于可视化，不保留全局距离 |
#三、损失函数与优化
| 术语 | 一句话释义 |
|---|---|
| MSE / MAE | 回归常用；MSE 对大误差敏感，MAE 对离群点更稳但不可导于 0 点 |
| 交叉熵 Cross-Entropy | 分类标配，与 Softmax 配合时梯度简洁、收敛快 |
| Focal Loss | 给易分样本降权，解决类别极不平衡与难易样本不均 |
| 对比损失 / Triplet Loss | 拉近正样本、推远负样本，是表示学习与检索的常用目标 |
| KL 散度 / JS 散度 | 衡量两个分布的差异，KL 不对称，JS 对称有界 |
| 梯度下降 GD / SGD / Mini-batch | 全量稳但慢 / 单样本噪但快 / 折中，是实际默认 |
| 动量 Momentum | 累积历史梯度方向，抑制震荡、加速收敛 |
| Nesterov 加速 | 先按动量方向探一步再算梯度，收敛更稳 |
| AdaGrad / RMSProp / Adam | 自适应学习率；Adam = 动量 + 二阶矩估计 + 偏差修正，是默认首选 |
| AdamW | 把权重衰减与自适应学习率解耦，是 Transformer 训练的标准配置 |
| 学习率预热 Warmup | 训练初期从小学习率线性上升，避免大模型早期震荡发散 |
| 学习率调度 | Step/Cosine/OneCycle；后期衰减帮助收敛到更平坦的极小值 |
| 梯度消失 / 爆炸 | 深层链式求导使梯度指数衰减或放大；对策是 ReLU、残差连接、归一化、梯度裁剪 |
| 梯度裁剪 Clipping | 限制梯度范数，缓解 RNN/Transformer 训练中的爆炸 |
| Batch Normalization | 按 batch 统计量归一化，加速收敛并允许更大学习率；推理用滑动平均 |
| Layer / Group / RMS Norm | 不受 batch 大小限制，Transformer 与 RNN 更常用；RMSNorm 更省算力 |
| 残差连接 ResNet | y = F(x) + x 让梯度有直通路径，是深层网络能训起来的关键 |
| Dropout | 训练时随机置零一部分激活，近似集成、防过拟合；推理要缩放或训练时除以保留率 |
| 权重衰减 / L1 / L2 | L2 让权重平滑降低方差，L1 产生稀疏解可用于特征选择 |
| 早停 Early Stopping | 验证指标不再改善即停，是最省成本的防过拟合手段 |
#四、评估指标
| 术语 | 一句话释义 |
|---|---|
| 混淆矩阵 | TP/FP/FN/TN 是几乎所有分类指标的源头 |
| 准确率 Accuracy | 分对的比例；类别极不平衡时会严重失真 |
| 精确率 Precision | 预测为正的里面真正为正的比例，关注「别误报」 |
| 召回率 Recall | 真实为正里被抓出来的比例，关注「别漏掉」 |
| F1 / Fβ | 精确率与召回率的调和平均；Fβ 中 β>1 更看重召回 |
| PR 曲线 vs ROC 曲线 | 正负样本极不平衡时 PR 曲线更能反映真实表现 |
| AUC | ROC 下面积，等价于随机取一正一负时正样本得分更高的概率 |
| Micro / Macro / Weighted 平均 | 多分类下按样本 / 按类别等权 / 按样本量加权的三种汇总方式 |
| MAE / MSE / RMSE / MAPE | 回归误差度量；RMSE 放大大误差，MAPE 是相对误差但要防零值 |
| R² | 相对「全预测均值」的改进程度，可为负 |
| NDCG / MAP / MRR | 排序与检索指标，NDCG 考虑位置折损与相关性分级 |
| Top-K 准确率 | 前 K 个预测中包含正确答案即算对 |
| IoU / mAP | 检测与分割的重叠度与平均精度，IoU 阈值决定 mAP 口径 |
| BLEU / ROUGE | 生成文本的 n-gram 重叠指标，与人类判断相关性有限 |
| 指标口径陷阱 | 同一指标不同阈值、不同平均方式、不同样本范围会得出差异很大的数字，必须写清口径 |
#五、深度学习结构
| 术语 | 一句话释义 |
|---|---|
| 感知机与 MLP | 全连接 + 非线性激活，理论可逼近任意连续函数 |
| CNN 与卷积 | 局部连接 + 权值共享，显著减少参数并保留空间结构 |
| 卷积核 / 步长 / 填充 | 感受野大小、下采样倍率、边界保留策略，共同决定输出尺寸 |
| 池化 Pooling | 下采样、增大感受野、提供一定平移不变性；现代网络常用步长卷积替代 |
| 感受野 Receptive Field | 输出一个点能看到输入多大范围，堆叠卷积与空洞卷积可扩大它 |
| 1×1 卷积 | 跨通道融合与升降维，性价比极高的「bottleneck」 |
| 深度可分离卷积 | 逐通道卷积 + 逐点卷积，参数量大幅下降，移动端主力 |
| RNN / LSTM / GRU | 处理序列；LSTM 用输入/遗忘/输出门缓解长程依赖，GRU 更轻 |
| 序列到序列与注意力 | Encoder-Decoder 加注意力解决固定长度瓶颈 |
| Transformer | 完全基于自注意力，并行度高、可扩展，是大模型与视觉主干的基础 |
| 自注意力 Self-Attention | 每个位置按相关性加权聚合全局信息，复杂度 O(n²) |
| 多头注意力 | 多个子空间并行关注不同关系，再拼接投影 |
| 位置编码 | 注意力本身无序，需注入位置信息（正弦编码 / 可学习 / RoPE / ALiBi） |
| 预训练 + 微调范式 | 先在大规模数据上学通用表示，再在小数据上适配下游 |
| 迁移学习 | 复用已学特征到新任务，小样本场景的关键手段 |
| 知识蒸馏 | 用大模型（教师）的软标签训练小模型（学生），压缩而少掉点 |
#六、训练工程与调参
| 术语 | 一句话释义 |
|---|---|
| 特征工程 | 把原始数据转成模型可用的表示，往往是表格任务效果的最大来源 |
| 标准化 vs 归一化 | 减均值除标准差 vs 缩放到 [0,1]；距离类与梯度类模型必须做 |
| 独热编码 / 目标编码 | 类别转数值；高基数类别用目标编码要注意泄漏与平滑 |
| 分箱与离散化 | 提升非线性拟合能力与鲁棒性，代价是信息损失 |
| 类别不平衡对策 | 重采样（过采样/欠采样）、类权重、Focal Loss、调整阈值、换用 PR 指标 |
| 数据泄漏 Data Leakage | 训练时用到了预测时拿不到的信息，是「离线超好线上崩」的最常见原因 |
| 超参数搜索 | 网格 / 随机 / 贝叶斯优化；随机搜索在同等预算下通常优于网格 |
| 消融实验 Ablation | 逐个移除模块验证贡献，是论文与面试都要求的论证方式 |
| 可复现性 | 固定随机种子、记录数据版本与配置、锁定依赖，否则结果无法对比 |
| 过拟合的处理清单 | 加数据/数据增强 → 正则化（L2/Dropout）→ 简化模型 → 早停 → 交叉验证 |
| 欠拟合的处理清单 | 增大模型容量 → 加特征 → 减正则 → 训练更久 → 换更合适的模型 |
| 数据增强 | 图像翻转裁剪、文本同义替换与回译、时序加噪；扩充有效样本最划算的一步 |
| 难例挖掘 Hard Negative Mining | 用难负样本提升判别能力，检索与检测里的常规操作 |
| 过参数化与双下降 | 参数量超过样本数后测试误差可能再次下降，是深度学习的反直觉现象 |
#参考资料
- 《机器学习》（周志华）
- Goodfellow 等《深度学习》
- 站点内《机器学习与深度学习》课程笔记