torchtune.utils

检查点

TorchTune 提供检查点程序，允许在检查点格式之间无缝转换，以便进行训练以及与生态系统其他部分的互操作性。有关 checkpointing，请参阅 checkpointing 深入探讨。

FullModelHFCheckpointer	Checkpointer 读取和写入 HF 格式的 checkpoint。
FullModelMetaCheck指针	Checkpointer 的 Checkpointer，它以 Meta 的格式读取和写入 checkpoint。

分散式

用于启用和使用分布式训练的实用程序。

init_distributed	初始化 torch.distributed。
get_world_size_and_rank	获取当前世界大小（又名等级总数）和当前训练师的等级数的函数。

精度降低

用于在降低精度设置下工作的实用程序。

get_dtype	获取与给定精度字符串对应的 torch.dtype。
list_dtypes	返回支持的 dtypes 列表以进行微调。

内存管理

用于减少训练期间内存消耗的实用程序。

set_activation_checkpointing

用于设置激活 checkpointing 并包装模型以进行 checkpointing 的实用程序。

性能和分析

TorchTune 提供了用于分析和调试性能的实用程序 的微调工作。

分析器	Utility 组件，它环绕 torch.profiler 来分析模型的运算符。

指标日志记录

各种日志记录实用程序。

metric_logging。WandBLogger	用于 Weights and Biases 应用程序 （https://wandb.ai/） 的记录器。
metric_logging。张量板记录器	与 PyTorch 的 TensorBoard 实现 （https://pytorch.org/docs/stable/tensorboard.html） 一起使用的记录器。
metric_logging。标准输出记录器	记录器到标准输出。
metric_logging。磁盘记录器	记录器到磁盘。

数据

用于处理数据和数据集的实用程序。

padded_collate

将一批序列填充到该批次中最长的序列长度，并将整数列表转换为张量。

杂项

TuneRecipeArgument解析器	一个有用的 utility 子类，它添加了一个内置参数 “config”。argparse.ArgumentParser
get_logger	获取带有流处理程序的 Logger。
get_device	接受 or device 或 device 字符串的函数，验证它是否正确，并在给定机器和分布式设置的情况下可用，并返回一个 torch.device。
set_seed	为常用库中的伪随机数生成器设置种子的函数。