For AI agents: the complete documentation index is available at https://tingfeng347.github.io/windwiki/llms.txt, the full documentation bundle is available at https://tingfeng347.github.io/windwiki/llms-full.txt, and this page is available as Markdown at https://tingfeng347.github.io/windwiki/llm-applications/model-training-and-deployment/training/index.md.

模型训练

模型训练不是“准备一份数据，跑一次 Trainer”这么简单。完整流程应先判断是否真的需要训练，再建立冻结评测集和数据协议，最后选择 LoRA、QLoRA、全参数微调或分布式训练，并把产物可靠地导出和部署。

先做正确的技术选择

需求	首选方法	原因
改变回答格式、语气、工作流或特定行为	SFT / LoRA	这些是模型的行为模式
注入经常变化、必须可追溯的事实	RAG	知识可更新、可引用，不必重训
让模型偏好更好的答案	DPO 等偏好优化	直接学习 chosen / rejected 的相对偏好
提升数学、代码等可验证任务的策略	GRPO 等在线强化学习	奖励函数可以自动判定结果
只需要少量示例就能完成	Prompt / Few-shot	成本最低，应先验证上限

一个稳妥的升级顺序是：

Prompt 基线 → RAG / 工具 → LoRA SFT → 偏好优化 → 全参数或大规模分布式训练

训练不能替代检索。把产品手册、价格、政策等时效知识硬塞进参数，既难更新，也无法可靠给出来源。反过来，要求固定 JSON 协议、稳定调用工具、形成特定推理习惯时，只堆检索文档通常也不够。

完整工程闭环

训练之前先冻结测试集。训练、选 checkpoint、调 Prompt 和规则时都不能把测试样本“回灌”进训练集；否则得到的是对评测集的记忆，而不是可泛化的能力。

一组必须持续记录的指标

不要只保存最终 loss。至少记录：

数据版本、去重规则、训练/验证/测试切分和随机种子；
基座模型、tokenizer、chat template、最大长度和截断率；
可训练参数比例、峰值显存、tokens/s、总 GPU-hours；
学习率、有效 batch、warmup、梯度裁剪和 checkpoint；
任务成功率、格式通过率、事实正确率、预算/安全约束通过率；
模型、Adapter、量化方式、推理引擎之间的兼容关系。

只有这些信息齐全，一次训练才是可复现的工程实验，而不是一个无法解释的模型目录。