OneRec-V1 虽然在线上取得了一定的收益，但面临两大瓶颈：

1. 计算效率低下：Encoder-Decoder 架构中 97.66% 的计算资源消耗在 context encoding（用户上下文编码）上，而非真正参与 loss 计算的 target decoding（目标视频生成）上。
2. RL 依赖代理奖励模型：V1 的 P-Score 奖励模型训练依赖老系统样本，存在 reward hacking 风险和采样效率问题。

针对这两个问题，V2 提出了两大核心改进：Lazy Decoder-Only 架构 + 基于真实用户反馈的偏好对齐。

OneRec通过端到端的生成式框架替代了传统的召回-排序的级联架构。在此系统学习下OneRec-V1。

GRPO（Group Relative Policy Optimization，分组相对策略优化）是 DeepSeek 团队在 DeepSeek-Math 和 DeepSeek-R1 中提出的强化学习算法，核心动机是砍掉 Critic 模型。

PPO算法的pipeline冗长，涉及模型多，资源消耗大，且训练极其不稳定。DPO是斯坦福团队基于PPO推导出的优化算法，去掉了RW训练和RL环节，只需要加载一个推理模型和一个训练模型，直接在偏好数据上进行训练即可：

在 RLHF（Reinforcement Learning from Human Feedback）的 PPO 训练阶段，一共涉及四个模型：Actor、Critic、Reference、Reward。它们各司其职，协作完成“让语言模型输出更符合人类偏好”的目标。

本文将从每个模型的作用出发，详细推导各自的Loss，最后给出总 Loss的完整形式。

在Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets这篇论文中，神经网络在训练集上早已达到接近 100% 的准确率，但继续训练很长时间后，验证集准确率才突然从接近随机水平上升到接近完美，作者把这种现象称为 grokking。

GAE(Generalized Advantage Estimation)的推导核心：把优势函数写成一系列TD误差的加权和，再用一个参数 $\lambda$ 去平衡偏差和方差。

PPO(Proximal Policy Optimization)是近年来接触LLM始终绕不过去的RL算法，其核心思想如下：

根据经验调整Policy，但限制新旧Policy之间的变化幅度。

在训练模型的过程中，使用tf.losses.log_loss计算二分类loss，随着训练的深入，loss值为NaN，最终模型训练失败。排查下来发现是该函数存在数值不稳定的情况。

自动驾驶的L1到L5分级，是目前全球最通用的标准，由国际汽车工程师学会（SAE International）制定，用来定义一辆车的“聪明”程度。