torchtune.generation

生成	从以提示为条件的模型生成标记，并返回各代的 logits。
generate_next_token	在给定提示符的情况下生成下一个标记，并返回相应的 logits。
样本	来自概率分布的通用样本。
get_causal_mask_from_padding_mask	将 shape 的填充掩码转换为适合供 使用的因果注意力掩码。[bsz, seq_len][bsz, seq_len, seq_len]
get_position_ids_from_padding_mask	在给定填充掩码的情况下计算位置 ID，该掩码将位置 ID 右移以从第一个有效令牌开始。