torchtune.rlhf¶

RLHF 算法（如 PPO 和 DPO）的组件和损耗。

`estimate_advantages`	使用 Generalized Advantage Estimation 估计 PPO 算法的优势和回报 https://arxiv.org/pdf/1506.02438.pdf
`get_rewards_ppo`	计算给定分数、对数概率和参考对数概率的 PPO 奖励。
`truncate_sequence_at_first_stop_token`	在第一个 stop 标记之后截断序列，并使用 .`fill_value`
`损失。PPOLoss`	近端策略优化（PPO）损失模块。
`损失。DPOLoss`	直接偏好优化（DPO）损失模块：https://arxiv.org/abs/2305.18290 从论文中简单地说：
`损失。RSOLoss`	统计抑制采样优化（RSO）或“铰链”损失模块：https://arxiv.org/abs/2309.06657。
`损失。SimPOLoss`	具有无参考奖励的简单偏好优化：https://arxiv.org/abs/2405.14734。

文档