torchtune.generation

generate	根据提示从模型生成令牌，并返回生成的 logits。
generate_next_token	根据提示生成下一个 token，并返回对应的 logits。
sample	从概率分布中采样的通用示例。
get_causal_mask_from_padding_mask	将形状为 [bsz, seq_len] 的填充掩码转换为适合由 scaled_dot_product_attention() 使用的 [bsz, seq_len, seq_len] 因果注意力掩码。
get_position_ids_from_padding_mask	根据填充掩码计算位置 ID，该掩码将位置 ID 右移，使其从第一个有效标记开始。