torchtune.rlhf¶

用于 PPO 和 DPO 等 RLHF 算法的组件与损失函数。

`estimate_advantages`	使用广义优势估计估算 PPO 算法的优势和回报 https://arxiv.org/pdf/1506.02438.pdf
`get_rewards_ppo`	计算给定分数、对数概率和参考对数概率的 PPO 奖励。
`truncate_sequence_at_first_stop_token`	在遇到第一个停止标记后截断序列，并用`fill_value`填充。
`loss.PPOLoss`	近端策略优化 (PPO) 损失模块。
`loss.DPOLoss`	直接偏好优化 (DPO) 损失模块：https://arxiv.org/abs/2305.18290 简而言之，论文指出：
`loss.RSOLoss`	统计拒绝采样优化 (RSO) 或“铰链”损失模块：https://arxiv.org/abs/2309.06657。
`loss.SimPOLoss`	SimPO：基于无参考奖励的简单偏好优化：https://arxiv.org/abs/2405.14734。

文档