⑤ 对齐与强化学习 · 让模型"听话"和"做对题"
5.1 为什么 SFT 之后还需要对齐?
SFT 教会模型"按对话格式回答"(K3),但回答的好坏它没有概念——训练数据里所有回答都被一视同仁地学了,包括啰嗦的、错误的、复读的(K3 里"1+1等于3"就是这么来的)。
对齐(Alignment)解决的是:同样的问题,让好的回答概率上升、差的下降。
两条路线:
| 路线 | 代表 | 需要什么 | 一句话 |
|---|---|---|---|
| 偏好对比 | DPO | chosen/rejected 回答对 | 直接从对比里学,绕过奖励模型 |
| RL 采样 | PPO/GRPO | 奖励模型或规则奖励 | 生成→打分→强化,循环 |
5.2 DPO:一个公式完成对齐
DPO(Direct Preference Optimization,直接偏好优化)的核心损失:
$$\mathcal{L} = -\log \sigma\Big(\beta \big[(\underbrace{\log \pi_\theta(y_w|x) - \log \pi_{ref}(y_w|x)}{\text{好答案的相对增益}}) - (\underbrace{\log \pi\theta(y_l|x) - \log \pi_{ref}(y_l|x)}_{\text{差答案的相对增益}})\big]\Big)$$
三个角色:
π_θ:正在训练的模型π_ref:参考模型(训练开始时的 SFT 快照,冻结)——没有它,模型可以整体漂移作弊y_w / y_l:同提问的 chosen(好)/ rejected(差)回答
概念正名 · DPO 不是强化学习:它没有环境、没有奖励、没有采样循环,就是一个普通的监督损失——只不过"标签"不是标准答案,而是好/坏对比。
ln2 校验器:训练开始时 π_θ = π_ref,好/差相对增益都是 0,sigmoid(0)=0.5,loss = -ln 0.5 = ln 2 ≈ 0.693。如果起点不是 0.693,实现或数据必有 bug。
K5 实测(T4 fp16,37.8min)
- loss 0.696 → 0.636:从 ln2 出发缓慢下降 ✓(lr 4e-8,比 SFT 小 250 倍——对齐是"微调级"动作,步子大会遗忘)
- "1+1等于几?":SFT 版答"1+1等于3" → DPO 版答"1+1=2"——偏好数据自带正确性信号,不需要奖励模型也能纠错
- 自我介绍前后一致:身份没被遗忘 ✓
实战判读:loss 从 ln2 下降越快说明 chosen/rejected 区分度学习越快;但掉到 0.4 以下通常意味着 chosen 概率爆炸、通用能力受损。安全牌:lr ≤ 5e-8 + 1 epoch。
5.3 GRPO/CISPO:采样-打分-组内对比
GRPO(Group Relative Policy Optimization)换了一条路:不靠偏好数据,靠现场采样。同一个问题生成一组(如 6 个)回答 → 打分 → 组内标准化成优势 A=(r-mean)/std → 好回答概率升、差的降。省掉了 PPO 的价值网络。
CISPO 是它的 loss 变体:GRPO 里 ratio 被 clip 截断的样本梯度恰好为 0;CISPO 改写为"裁剪权重×log 概率",截断不截梯度。MiniMind 同一脚本 --loss_type grpo|cispo 一键切换。
K6 实验记录(T4,10 版排障后止损)——这条失败链的每一步都有信息量:
| 尝试 | 结果 |
|---|---|
| fp16 采样 | ❌ 生成时 logits 溢出 → multinomial nan assert |
| fp32 生成 + fp16 训练 | ⚠️ step1 跑通(Reward=-0.65,Adv Std=1.07 ✓)→ step2 KL_ref=nan 污染权重 |
| fp32 全链 | ❌ OOM(T4 16G) |