#AI 与大模型 · 面试清单
面试权重：★★★★★ 大模型应用岗的面试与后端是两套打法：上来就问 RAG 召回链路、Agent 规划与工具调用、LoRA 显存、向量库选型。
#一、基础概念
| 术语 | 一句话释义 |
|---|---|
| LLM | 大规模参数的语言模型，业内直接说「大模型」 |
| Token | 模型处理文本的最小单位；中文约 1 字 1–2 token，英文约 1 词 1 token |
| Tokenizer | 把文本切成 Token 并映射为 ID，主流算法是 BPE / SentencePiece / tiktoken |
| 词表 Vocabulary | 分词器认识的 Token 全集，常见 3 万~15 万 |
| 上下文窗口 Context Window | 单次请求可处理的最大 Token 数；决定长文档与多轮对话能力 |
| Lost in the Middle | 长上下文中间部分信息易被忽略，关键指令应放开头或结尾 |
| 参数量 Parameter | 权重数量，以 B（十亿）计；不等于能力，数据质量与训练配比同样关键 |
| 基座模型 Base Model | 未做指令微调的预训练模型，只会续写不会听指令 |
| Instruct / Chat Model | 经 SFT 与对齐后可遵循指令、适配对话格式 |
| 多模态 Multimodal | 同时处理文本、图像、音频、视频，与 LLM 的区别是输入输出模态 |
| 推理模型 Reasoning Model | 先产出长思维链再给答案，擅长数学与代码，代价是 token 与延迟更高 |
| Scaling Law | 损失随参数、数据、算力呈幂律下降，是「堆规模有效」的理论依据 |
| 涌现能力 | 规模超过某阈值后突然出现的能力，学界对其真实性仍有争议 |
| 开源 vs 闭源 | 权重可下载自部署 vs 只能 API 调用；前者可控合规，后者能力与运维更省心 |
| 上下文长度扩展 | 通过 RoPE 插值、位置重排、继续训练把窗口从 4K 扩到 128K 甚至更长 |
| 幻觉 Hallucination | 模型编造看似合理但不真实的内容，是大模型落地最普遍的风险 |
| 知识截止 Knowledge Cutoff | 训练数据的截止时间，之后的事模型不知道，必须靠检索或工具补 |
#二、模型架构
| 术语 | 一句话释义 |
|---|---|
| Transformer | 完全基于注意力机制的架构，并行度高、可扩展，是现代大模型的通用底座 |
| Encoder / Decoder / Encoder-Decoder | BERT 类只编码、GPT 类只解码、T5 类两者兼有；生成任务几乎都是 Decoder-only |
| 自注意力 Self-Attention | 每个位置按相关性加权聚合全局信息，复杂度 O(n²)，是长上下文的成本来源 |
| 多头注意力 MHA | 多个子空间并行关注不同关系，再拼接投影 |
| MQA / GQA | 多个 Query 共享一份 KV，显著减小 KV Cache 显存，GQA 是当前主流折中 |
| KV Cache | 缓存历史 Token 的 Key/Value，避免重复计算；它是推理显存的主要占用者 |
| 位置编码 | 注入顺序信息；RoPE（旋转位置编码）是当前主流，外推性优于正弦编码 |
| 前馈网络 FFN | 逐位置独立变换，参数量常占模型大头；大模型中常用 SwiGLU 门控变体 |
| LayerNorm / RMSNorm | 归一化稳定训练；RMSNorm 去掉均值中心化，算力更省，是大模型标配 |
| 残差连接 | 给梯度提供直通路径，让深层网络能训起来 |
| MoE 专家混合 | 每个 Token 只激活少数专家，总参数巨大但激活参数小，兼顾容量与成本 |
| 路由与负载均衡 | MoE 的难点：如何让专家被均匀使用，否则部分专家饿死 |
| 注意力变体 | FlashAttention（IO 感知的高效实现）、滑动窗口/稀疏注意力（降复杂度） |
| Post-Norm vs Pre-Norm | 归一化放残差之后 vs 之前；Pre-Norm 更易训练深层模型 |
| 并行训练策略 | 数据并行、张量并行、流水线并行、序列并行、ZeRO 分片，组合使用 |
| 显存估算 | 推理约需「模型权重 + KV Cache」；训练还要加梯度、优化器状态与激活值 |
#三、训练与对齐
| 术语 | 一句话释义 |
|---|---|
| 预训练 Pre-training | 在海量无标注语料上做下一个 Token 预测，是能力与知识的来源 |
| 续训 CPT | 在领域语料上继续预训练，用于注入领域知识或适配新语言 |
| SFT 监督微调 | 用指令-回答数据教模型「听懂并回答」，是对齐的第一步 |
| 指令数据质量 | SFT 效果主要由数据质量与多样性决定，数量远不如质量重要 |
| RLHF | 用人类偏好训练奖励模型，再用 PPO 优化策略，让输出更符合人类偏好 |
| 奖励模型 Reward Model | 学会给回答打分，是 RLHF 的中间产物 |
| PPO | 带 KL 约束的策略梯度算法，训练稳定但工程复杂、需四个模型同时在显存里 |
| DPO 直接偏好优化 | 用偏好数据直接优化策略，无需奖励模型与强化学习，简单稳定但上限常被认为低于 RLHF |
| GRPO | 组内相对偏好优化的强化学习，省掉价值网络，是推理模型训练的热门方案 |
| RLVR 可验证奖励 | 用可自动判对错的奖励（数学答案、单元测试）做强化，避免奖励模型被钻空子 |
| 奖励黑客 Reward Hacking | 模型学会讨好奖励函数而非真正解决问题，是 RLHF 的典型失败模式 |
| 对齐 Alignment | 让模型行为符合人类意图与价值观，含有用、无害、诚实三方面 |
| 全参微调 vs PEFT | 更新全部权重（效果好、成本高）vs 只训练少量新增参数（省显存、易多任务） |
| LoRA | 在权重旁注入低秩矩阵，只训这两个小矩阵，推理时可合并回原权重 |
| QLoRA | 基座量化到 4bit + LoRA，单卡也能微调大模型，代价是略慢 |
| 秩 r 与 alpha | LoRA 的两个核心超参：秩决定容量，alpha 控制缩放；常按 alpha = 2r 起步 |
| Adapters / Prefix / P-Tuning | 另外几类 PEFT：插层模块 / 前缀向量 / 可学习提示向量 |
| 灾难性遗忘 | 微调后丢失原有通用能力；靠混入通用数据、降低学习率、LoRA 缓解 |
| 数据配比与去重 | 预训练成败的关键工程，重复数据会导致性能下降与记忆化 |
| 蒸馏 Distillation | 用大模型输出训练小模型，是成本与效果之间的常见折中 |
#四、推理与生成参数
| 术语 | 一句话释义 |
|---|---|
| 贪心解码 Greedy | 每步取概率最高的 Token，确定但容易重复与平庸 |
| Beam Search | 维护多条候选路径取整体最优，适合翻译等有标准答案的任务 |
| 温度 Temperature | 调节分布陡峭程度：越低越确定，越高越多样 |
| Top-p 核采样 | 从累积概率达到 p 的最小集合中采样，比固定 Top-k 更自适应 |
| Top-k | 只在概率最高的 k 个 Token 中采样 |
| Repetition Penalty | 惩罚已出现过的 Token，缓解复读 |
| 采样参数调优经验 | 事实抽取用低温（0 |
| Logprobs | 输出 Token 的对数概率，可用于置信度估计与分类任务 |
| 停止条件与最大长度 | stop、max_tokens，是控制成本与截断风险的基本手段 |
| 结构化输出 JSON Mode | 强制模型输出合法 JSON，常配 schema 校验；比在提示里「请返回 JSON」可靠得多 |
| Function Calling | 模型按给定 schema 产出工具调用参数，是 Agent 的基础能力 |
| 流式输出 Streaming | 逐 Token 返回，显著降低首字延迟 TTFT 的体感 |
#五、推理优化与部署
| 术语 | 一句话释义 |
|---|---|
| TTFT | 首 Token 延迟，受预填充阶段与输入长度影响 |
| TPOT / ITL | 平均每输出 Token 时间，决定生成速度 |
| 吞吐 vs 延迟 | 批得越大吞吐越高但单请求延迟上升，是部署的核心权衡 |
| PagedAttention | 把 KV Cache 分页管理，消除显存碎片，vLLM 的招牌能力 |
| Continuous Batching | 新请求在任意时刻插入批次，而非等整批完成，大幅提升利用率 |
| vLLM / SGLang / TensorRT-LLM | 主流高性能推理框架；前两者易用，后者极致但门槛高 |
| 前缀缓存 Prefix Caching | 复用相同前缀的 KV，适合系统提示词固定的场景，省钱又降延迟 |
| 投机解码 Speculative Decoding | 小模型草拟、大模型并行验证，在不改输出的前提下加速 |
| 量化 | FP16 → INT8/INT4/FP8 等降低显存与算力需求；GPTQ/AWQ 是常见后训练量化方案 |
| 模型并行与张量并行 | 权重放不下单卡时按层或张量切分到多卡 |
| 显存与并发估算 | 显存 ≈ 权重 + KV Cache × 并发 × 序列长度；这是「能扛多少路并发」的计算依据 |
| 能力分级与降级路由 | 简单请求走小模型、复杂请求走大模型，是控制成本最直接的手段 |
| 成本指标 | 每千 Token 单价 × 输入输出量；输出 Token 通常比输入贵数倍 |
| Prompt Caching | 服务端缓存重复前缀的计算，长系统提示词场景可显著降本 |
#六、提示工程与上下文工程
| 术语 | 一句话释义 |
|---|---|
| Zero-shot / Few-shot | 不给示例 / 给几个示例，示例质量常比数量更重要 |
| 系统提示词 System Prompt | 设定角色、规则与输出格式，是行为约束的主战场 |
| CoT 思维链 | 让模型先推理再给答案，显著提升数学与逻辑题正确率 |
| Self-Consistency | 多次采样取多数答案，用投票换准确率 |
| ToT 思维树 | 把推理组织成可搜索的树，允许回溯与剪枝，成本高 |
| ReAct | 推理（Reason）与行动（Act）交替，是 Agent 循环的经典范式 |
| Prompt Injection | 外部内容里夹带指令让模型越权执行，是 Agent 安全的首要风险 |
| 越狱 Jailbreak | 用诱导话术绕过安全策略，与注入常结合出现 |
| 上下文工程 Context Engineering | 系统性地决定「放什么进上下文、怎么组织、何时清理」，比单点提示优化更关键 |
| 上下文腐化 Context Rot | 上下文过长导致有效信息被稀释、指令遵循度下降 |
| 上下文压缩与摘要 | 长对话滚动摘要 + 保留最近若干轮，是长会话的标准做法 |
| 提示词版本管理 | 把提示词当代码管理：进仓库、可评审、可回滚、能 A/B |
| 护栏 Guardrails | 输入输出双向校验：敏感词、格式 schema、工具白名单、越权拦截 |
#七、RAG 检索增强生成
| 术语 | 一句话释义 |
|---|---|
| RAG 是什么 | 检索外部知识拼进上下文再生成，解决知识过时、私有数据与幻觉问题 |
| 完整链路 | 文档加载 → 切分 → 向量化 → 索引 → 检索 → 重排 → 上下文组装 → 生成 → 评估 |
| Chunking 切分 | 决定召回粒度：太大噪声多、太小丢语义；常用固定长度 + 重叠，语义/结构切分更好 |
| 重叠窗口 Overlap | 相邻块保留部分重复内容，避免跨块语义被切断 |
| Embedding 向量化 | 把文本映射为稠密向量；必须用与建库时同一个模型做查询编码 |
| 向量数据库 | 存向量并做近邻检索；Milvus、Qdrant、pgvector、Chroma 等 |
| HNSW | 分层可导航小世界图，查询快、内存占用高，是主流近似最近邻索引 |
| IVF / PQ | 倒排文件聚类 + 乘积量化，省内存精度略降，适合超大规模 |
| 近似最近邻 ANN | 用召回率换速度的检索方式；要监控 recall@k 是否达标 |
| 相似度度量 | 余弦、内积、欧氏距离；必须与向量模型训练时的度量一致 |
| 混合检索 Hybrid Search | 稠密向量 + BM25 稀疏检索融合，兼顾语义与关键词精确匹配 |
| BM25 | 经典关键词检索算法，对专有名词、编号、代码符号效果好 |
| RRF 倒数排名融合 | 不依赖分数尺度地融合多路召回结果，实现简单效果好 |
| Rerank 重排 | 用交叉编码器对候选精排，召回粗、重排精，是提升精度的性价比之王 |
| Query 改写 / 扩展 | 把口语化问题改写成检索友好的表达，或用多查询、HyDE 提升召回 |
| 多跳检索 Multi-hop | 一次检索不够，需基于中间结果再检索，适合复杂问答 |
| GraphRAG | 构建实体关系图辅助检索，适合全局性、关系型问题，成本高 |
| Metadata 过滤 | 用时间、部门、权限等元数据先缩小范围，能显著提升准确性 |
| 上下文组装 | 召回内容如何排序与拼接（去重、截断、标注来源）直接影响生成质量 |
| 引用与溯源 | 输出必须带来源，是人机协作的信任基础，也是评估幻觉的手段 |
| RAG 评估指标 | 检索侧 recall@k / hit rate / MRR，生成侧 faithfulness / answer relevancy / context precision |
| RAGAS | 常用的 RAG 评估框架，提供上述指标的自动化实现 |
| RAG vs 微调 | 知识易变、需可溯源用 RAG；风格与格式、固定行为模式用微调；实践中常组合 |
| RAG 常见失败模式 | 该召回的没召回、召回错的、召回了但没用上、用了但答错 |
#八、Agent（智能体）
| 术语 | 一句话释义 |
|---|---|
| Agent 定义 | 能自主规划、调用工具、根据反馈迭代直到完成目标的 LLM 应用 |
| Agent Loop | 感知 → 规划 → 行动（工具）→ 观察结果 → 再规划，直到终止条件满足 |
| 工具调用 Tool Use | Agent 的手脚，靠 function calling 把自然语言意图转成结构化参数 |
| MCP 模型上下文协议 | 用统一协议把工具、资源、提示暴露给模型，解决每个应用重复接工具的碎片化 |
| MCP 的三种能力 | Tools（可调用）、Resources（可读数据）、Prompts（预置模板） |
| A2A / 智能体互操作 | 智能体之间的发现与协作协议，MCP 管「接工具」、A2A 管「Agent 之间通信」 |
| ReAct | 思考与行动交替的经典范式，简单有效但对长任务规划能力有限 |
| Plan-and-Execute | 先出完整计划再逐步执行，长任务更稳，代价是计划错了会错一片 |
| Reflection 反思 | 让模型评审自己的输出再改进，能显著提升质量，成本是多次调用 |
| 短期记忆 | 当前会话的上下文窗口内容 |
| 长期记忆 | 跨会话持久化的信息，靠检索式写入与召回，涉及写什么、何时写、如何忘 |
| 多智能体 Multi-Agent | 拆成多个角色（规划、检索、编码、评审）协作；收益真实但通信成本与不确定性也高 |
| 子代理 Subagent | 把子任务隔离给独立上下文执行，避免主上下文被过程噪声污染 |
| Human-in-the-Loop | 关键节点让人确认或审批，是高风险场景上线的必要条件 |
| 沙箱 Sandbox | 给 Agent 执行代码/命令的隔离环境，权限最小化，是安全底线 |
| 终止条件 | 最大步数、超时、目标达成判定——没有它会出现无限循环与成本失控 |
| 异常轨迹 | Agent 反复重试、绕圈、误用工具等失败路径，必须被记录并用于改进 |
| Agent 评估 | 端到端任务成功率、步骤效率、工具调用正确率、恢复能力 |
| 不确定性来源 | 模型随机性 + 工具返回不确定 + 环境变化，所以 Agent 必须可观测、可回放 |
#九、评估与上线治理
| 术语 | 一句话释义 |
|---|---|
| Golden Set 金标集 | 人工标注的高质量评测样本，是迭代回归的基准 |
| LLM-as-Judge | 用模型给回答打分，成本低可规模化，但要注意位置偏见与自我偏好 |
| Pairwise 对比 | 比较两个输出的优劣，比绝对打分更稳定，常用于模型选型 |
| 离线评估 vs 在线 A/B | 离线快但会与真实体验脱节，在线真实但代价高、周期长 |
| 评测集污染 | 训练数据里混入评测集会让分数虚高，是榜单不可信的主因 |
| 幻觉治理三板斧 | 检索增强给出依据、输出强约束（引用/schema）、兜底拒答 |
| 拒答能力 | 允许模型说「不知道」，比强行编造更专业，需要专门数据与评估 |
| 可观测性 | 记录完整请求、提示词版本、召回内容、工具调用与耗时，支撑排障与优化 |
| 回归测试 | 每次改提示词或换模型都跑一遍金标集，避免「修一个问题坏三个」 |
| 成本与延迟预算 | 每个请求的 token、调用次数与 P95 延迟必须设预算并监控 |
| 合规与数据边界 | 数据出域、用户隐私、生成内容审核，是企业落地的硬约束 |
#参考资料
- Attention Is All You Need（2017）、LoRA、DPO、RAG 原始论文
- Anthropic / OpenAI / 阿里云百炼官方文档（上下文工程、工具调用、MCP）
- 站点内《AI 工程实践》与《Agent 工程》相关笔记