torchtune.utils

检查点

Torchtune 提供检查点程序，允许在检查点格式之间无缝转换，以便进行训练并与生态系统的其他部分进行互操作性。有关 checkpointing，请参阅 checkpointing 深入探讨。

FullModelHFCheckpointer	Checkpointer 读取和写入 HF 格式的 checkpoint。
FullModelMetaCheck指针	Checkpointer 的 Checkpointer，它以 Meta 的格式读取和写入 checkpoint。
FullModelTorchTuneCheck指针	Checkpointer，它以与 torchtune 兼容的格式读取和写入检查点。
ModelType	ModelType 被 checkpointer 用来区分不同的模型架构。

分散式

用于启用和使用分布式训练的实用程序。

FSDPPolicyType	可用作 FSDP 包装策略的函数的数据类型。
init_distributed	初始化 所需的进程组。torch.distributed
is_distributed	检查是否设置了初始化 torch.distributed 所需的所有环境变量，并且是否正确安装了 distributed。
get_world_size_and_rank	获取默认进程组中当前进程的当前世界大小（又名总排名数）和排名编号的函数。
get_full_finetune_fsdp_wrap_policy	根据指定的标志和 检索 FSDP 包装策略。memory_efficient_fsdp_wrapmodules_to_wrap
lora_fsdp_wrap_policy	用于包装使用 FSDP 通过 LoRA 训练的模型的默认策略。

精度降低

用于在降低精度设置下工作的实用程序。

get_dtype	获取与给定精度字符串对应的 torch.dtype。
set_default_dtype	上下文管理器来设置 torch 的默认 dtype。
validate_expected_param_dtype	验证所有输入参数是否都具有预期的 dtype。
get_quantizer_mode	给定一个量化器对象，返回一个指定量化类型的字符串。

内存管理

用于减少训练期间内存消耗的实用程序。

set_activation_checkpointing	将激活检查点应用于传入模型的实用程序。
OptimizerInBackwardWrapper 中	一个基本类，用于向后运行的优化器的 checkpoint save 和 load。
create_optim_in_bwd_wrapper	为向后运行的优化器步骤创建包装器。
register_optim_in_bwd_hooks	为向后运行的优化器步骤注册钩子。

性能和分析

Torchtune 提供了用于分析和调试内存和性能的实用程序 的微调工作。

get_memory_stats	计算传入设备的内存摘要。
log_memory_stats	将包含内存统计信息的 dict 记录到 Logger 中。
setup_torch_profiler	设置并返回包含设置后更新的分析器配置。

指标日志记录

各种日志记录实用程序。

metric_logging。WandBLogger	用于 Weights and Biases 应用程序 （https://wandb.ai/） 的记录器。
metric_logging。张量板记录器	与 PyTorch 的 TensorBoard 实现 （https://pytorch.org/docs/stable/tensorboard.html） 一起使用的记录器。
metric_logging。标准输出记录器	记录器到标准输出。
metric_logging。磁盘记录器	记录器到磁盘。

数据

用于处理数据和数据集的实用程序。

padded_collate	将一批序列填充到该批次中最长的序列长度，并将整数列表转换为张量。
padded_collate_dpo	填充一批序列以进行直接首选项优化 （DPO）。

杂项

get_logger	获取带有流处理程序的 Logger。
get_device	函数，该函数采用可选的设备字符串，在给定计算机和分布式设置的情况下验证其正确和可用，并返回 torch.device。
set_seed	为常用库中的伪随机数生成器设置种子的函数。
生成	从以提示为条件的模型生成标记。
torch_version_ge	检查 torch 版本是否大于或等于给定版本。
TuneRecipeArgument解析器	一个有用的 utility 子类，它添加了一个内置参数 “config”。argparse.ArgumentParser