⑤ 对齐与强化学习 · 让模型"听话"和"做对题"

状态:K5 DPO 实测完成;GRPO/PPO/Agent 待补(M6-M8)

5.1 为什么 SFT 之后还需要对齐?

SFT 教会模型"按对话格式回答"(K3),但回答的好坏它没有概念——训练数据里所有回答都被一视同仁地学了,包括啰嗦的、错误的、复读的(K3 里"1+1等于3"就是这么来的)。

对齐(Alignment)解决的是:同样的问题,让好的回答概率上升、差的下降。

两条路线:

路线 代表 需要什么 一句话
偏好对比 DPO chosen/rejected 回答对 直接从对比里学,绕过奖励模型
RL 采样 PPO/GRPO 奖励模型或规则奖励 生成→打分→强化,循环

比喻:SFT 是照着范文练字;DPO 是老师把你的一好一坏两份作业摆在一起,说"照好的那份改";RL 是老师守着你每写一题打一次分。

5.2 DPO:一个公式完成对齐

DPO(Direct Preference Optimization,直接偏好优化)的核心损失:

$$\mathcal{L} = -\log \sigma\Big(\beta \big[(\underbrace{\log \pi_\theta(y_w|x) - \log \pi_{ref}(y_w|x)}{\text{好答案的相对增益}}) - (\underbrace{\log \pi\theta(y_l|x) - \log \pi_{ref}(y_l|x)}_{\text{差答案的相对增益}})\big]\Big)$$

三个角色:

概念正名 · DPO 不是强化学习:它没有环境、没有奖励、没有采样循环,就是一个普通的监督损失——只不过"标签"不是标准答案,而是好/坏对比。

ln2 校验器:训练开始时 π_θ = π_ref,好/差相对增益都是 0,sigmoid(0)=0.5,loss = -ln 0.5 = ln 2 ≈ 0.693。如果起点不是 0.693,实现或数据必有 bug。

K5 实测(T4 fp16,37.8min)

实战判读:loss 从 ln2 下降越快说明 chosen/rejected 区分度学习越快;但掉到 0.4 以下通常意味着 chosen 概率爆炸、通用能力受损。安全牌:lr ≤ 5e-8 + 1 epoch。

5.3 GRPO/CISPO:采样-打分-组内对比

GRPO(Group Relative Policy Optimization)换了一条路:不靠偏好数据,靠现场采样。同一个问题生成一组(如 6 个)回答 → 打分 → 组内标准化成优势 A=(r-mean)/std → 好回答概率升、差的降。省掉了 PPO 的价值网络。

CISPO 是它的 loss 变体:GRPO 里 ratio 被 clip 截断的样本梯度恰好为 0;CISPO 改写为"裁剪权重×log 概率",截断不截梯度。MiniMind 同一脚本 --loss_type grpo|cispo 一键切换。

K6 实验记录(T4,10 版排障后止损)——这条失败链的每一步都有信息量:

尝试 结果
fp16 采样 ❌ 生成时 logits 溢出 → multinomial nan assert
fp32 生成 + fp16 训练 ⚠️ step1 跑通(Reward=-0.65,Adv Std=1.07 ✓)→ step2 KL_ref=nan 污染权重
fp32 全链 ❌ OOM(T4 16G)

结论:GRPO 类在线 RL 对数值精度极其敏感——官方假设 bf16 硬件(A100/4090 级),T4 (fp16) 属非支持环境。对比之下 DPO 在同一张 T4 上 38 分钟全链跑通。

比喻:DPO 是拿现成的两份作业改;GRPO 是让学生当场写 6 份、逐份批改——现场写作业的"墨水"(显存与精度)消耗完全不是一个量级。

5.4 后续小节(完成后滚动更新)