从多臂老虎机到 GRPO：强化学习与 verl 框架
从强化学习基础到 GRPO 的前向、反向计算，再到 verl 的训练与推理架构。
~/xzhao/notes $ ls -la
技术分享
按主题整理的开发笔记与实验记录。
01 / AI & LLM
AI / LLM
→
GRPO 原理与 Countdown 算数推理实验
从组内相对优化原理出发，完整复盘数据、Reward、LoRA 训练、KL 指标与冻结测试集验证。
如何防止 GRPO 训练中的 Policy Drift
从 KL、Clip 到 SFT Replay，系统梳理 GRPO 训练中控制策略漂移的方法。
Qwen2.5-0.5B 微调实验记录
LoRA SFT 与 10 Case EOS 对照评测：从异常续写定位到模板和输出层适配。
02 / ENGINEERING
工程实践
⌁
暂无文章，正在整理中。
03 / FRONTEND
前端开发
</>
暂无文章，正在整理中。