PyTorch 文档

PyTorch 是一个优化的张量库，用于使用 GPU 和 CPU 进行深度学习。

本文档中描述的功能按版本状态分类：

稳定：这些功能将长期维护，通常应该有 在文档中没有重大的性能限制或差距。 我们还希望保持向后兼容性（尽管 可能会发生重大更改，并且将提前一个版本发出通知 的时间）。

试用版：这些功能被标记为 Beta 版，因为 API 可能会根据 用户反馈，因为性能需要改进，或者因为 跨 Operators 的覆盖范围尚未完成。对于 Beta 版功能，我们是 致力于将该功能一直持续到 Stable 分类。 但是，我们并不承诺向后兼容。

原型：这些功能通常不作为 PyPI 或 Conda 等二进制发行版，但有时落后于运行时 标志，并且处于反馈和测试的早期阶段。

社区

• PyTorch 治理 |构建 + CI
• PyTorch 贡献指南
• PyTorch 设计理念
• PyTorch 治理 |力学
• PyTorch 治理 |维护

开发人员说明

• CUDA 自动混合精度示例
• Autograd 机制
• 广播语义
• CPU 线程和 TorchScript 推理
• CUDA 语义
• 分布式数据并行
• 扩展 PyTorch
• 使用 autograd.Function torch.func。功能
• 常见问题解答
• Gradcheck 机制
• HIP （ROCm） 语义
• 适用于大规模部署的功能
• 模块
• MPS 后端
• 多处理最佳实践
• 数值精度
• 再现性
• 序列化语义
• Windows 常见问题解答

语言绑定

• C++
• Javadoc
• torch::deploy

Python 接口

• torch
  • Tensors
  • 发电机
  • 随机抽样
  • 序列化
  • 排比
  • 在本地禁用梯度计算
  • 数学运算
  • 公用事业
  • 符号数字
  • 导出路径
  • 优化
  • 操作员标签
• torch.nn
  • 参数
  • 未初始化参数
  • 未初始化的缓冲区
  • 器皿
  • 卷积层
  • 池化层
  • 填充层
  • 非线性激活 （加权和、非线性）
  • 非线性激活 （其他）
  • 归一化图层
  • 循环层
  • 变压器层
  • 线性层
  • Dropout 图层
  • 稀疏层
  • 距离函数
  • 损失函数
  • Vision Layers
  • 随机排列图层
  • DataParallel Layers（多 GPU，分布式）
  • 公用事业
  • 量化函数
  • 惰性模块初始化
• torch.nn.functional
  • 卷积函数
  • 池化函数
  • 注意力机制
  • 非线性激活函数
  • 线性函数
  • Dropout 函数
  • 稀疏函数
  • 距离函数
  • 损失函数
  • 视觉功能
  • DataParallel 函数（多 GPU、分布式）
• torch.Tensor
  • 数据类型
  • 初始化和基本操作
  • Tensor 类参考
• 张量属性
  • torch.d类型
  • torch.device
  • torch.layout
  • torch.memory_format
• 张量视图
• torch.amp
  • 自动投射
  • 梯度缩放
  • Autocast Op 参考
• torch.autograd
  • torch.autograd.backward 中
  • torch.autograd.grad 的
  • 正向模式自动微分
  • 功能更高的 API
  • 在本地禁用梯度计算
  • 默认渐变布局
  • 对 Tensor 的就地操作
  • 变量 （已弃用）
  • Tensor autograd 函数
  • 功能
  • 上下文方法混入
  • 数值梯度检查
  • 分析器
  • 异常检测
  • Autograd 图
• torch.library
  • 库
  • fallthrough_kernel（）
• torch.cpu
  • torch.cpu.current_stream
  • torch.cpu.is_available
  • torch.cpu.synchronize
  • torch.cpu.stream
  • torch.cpu.device_count
  • StreamContext （流上下文）
  • 流和事件
• torch.cuda
  • StreamContext （流上下文）
  • torch.cuda.can_device_access_peer
  • torch.cuda.current_blas_handle
  • torch.cuda.current_device
  • torch.cuda.current_stream
  • torch.cuda.default_stream
  • 装置
  • torch.cuda.device_count
  • device_of
  • torch.cuda.get_arch_list
  • torch.cuda.get_device_capability
  • torch.cuda.get_device_name
  • torch.cuda.get_device_properties
  • torch.cuda.get_gencode_flags
  • torch.cuda.get_sync_debug_mode
  • torch.cuda.init
  • torch.cuda.ipc_collect
  • torch.cuda.is_available
  • torch.cuda.is_initialized
  • torch.cuda.memory_usage
  • torch.cuda.set_device
  • torch.cuda.set_stream
  • torch.cuda.set_sync_debug_mode
  • torch.cuda.stream
  • torch.cuda.synchronize
  • torch.cuda.utilization
  • torch.cuda.temperature
  • torch.cuda.power_draw
  • torch.cuda.clock_rate
  • torch.cuda.OutOfMemoryError
  • 随机数生成器
  • 通信集体
  • 流和事件
  • 图形（测试版）
  • 内存管理
  • NVIDIA 工具扩展 （NVTX）
  • Jiterator（测试版）
  • Stream Sanitizer（原型）
• 了解 CUDA 内存使用情况
• 生成快照
• 使用可视化工具
  • Active Memory Timeline
  • 分配器状态历史记录
• 快照 API 参考
  • _record_memory_history（）
  • _snapshot（）
  • _dump_snapshot（）
• torch.mps
  • torch.mps.synchronize
  • torch.mps.get_rng_state
  • torch.mps.set_rng_state
  • torch.mps.manual_seed
  • torch.mps.seed
  • torch.mps.empty_cache
  • torch.mps.set_per_process_memory_fraction
  • torch.mps.current_allocated_memory
  • torch.mps.driver_allocated_memory
  • MPS 分析器
  • MPS 事件
• torch.backends
  • torch.backends.cpu 的
  • torch.backends.cuda
  • torch.backends.cudnn
  • torch.backends.mps
  • torch.backends.mkl 中
  • torch.backends.mkldnn
  • torch.backends.openmp
  • torch.backends.opt_einsum
  • torch.backends.xeon
• torch.export
  • 概述
  • 导出 PyTorch 模型
  • torch.export 的限制
  • 阅读更多
  • API 参考
• torch.distributed
  • 后端
  • 基本
  • 初始化
  • 初始化后
  • 分布式 Key-Value Store
  • 组
  • 点对点通信
  • 同步和异步集合操作
  • 集合函数
  • 分析 Collective 通信
  • 多 GPU 集合函数
  • 第三方后端
  • Launch 实用程序
  • 生成实用程序
  • 调试应用程序
  • 伐木
• torch.distributed.algorithms.join
  • 加入
  • 可加入
  • JoinHook 连接
• torch.distributed.elastic
  • 开始使用
  • 文档
• torch.distributed.fsdp
  • FullyShardedDataParallel
  • 向后预取
  • 分片策略
  • 混合精度
  • CPUOffload
  • StateDictConfig 配置
  • FullStateDictConfig 配置
  • 分片状态字典配置
  • LocalStateDictConfig 配置
  • OptimStateDictConfig 配置
  • FullOptimStateDictConfig
  • 分片 OptimStateDictConfig
  • LocalOptimStateDictConfig 实例
  • StateDict设置
• torch.distributed.optim
  • 分布式优化器
  • PostLocalSGDOptimizer
  • 零冗余优化器
• torch.distributed.tensor.parallel
  • parallelize_module（）
  • 行向平行
  • ColwiseParallel
  • PairwiseParallel （配对平行）
  • SequenceParallel （序列并行）
  • make_input_replicate_1d（）
  • make_input_reshard_replicate（）
  • make_input_shard_1d（）
  • make_input_shard_1d_last_dim（）
  • make_output_replicate_1d（）
  • make_output_reshard_tensor（）
  • make_output_shard_1d（）
  • make_output_tensor（）
  • enable_2d_with_fsdp（）
  • pre_dp_module_transform（）
• torch.distributed.checkpoint
  • load_state_dict（）
  • save_state_dict（）
  • 存储读取者
  • StorageWriter 的
  • 加载规划器
  • LoadPlan （负载计划）
  • ReadItem （读取项目）
  • 保存规划器
  • 保存计划
  • 写入项
  • FileSystemReader 文件
  • 文件系统写入器
  • 默认保存计划
  • 默认负载规划器
• torch.distributions
  • Score 函数
  • Pathwise 导数
  • 分配
  • 指数系列
  • 伯努利
  • 试用版
  • 二项式
  • 分类
  • 柯 西
  • 气2
  • 连续式伯努利
  • 狄里克莱
  • 指数
  • 费舍尔斯内德科
  • 伽马
  • 几何
  • 甘贝
  • 半柯西
  • 半法线
  • 独立
  • 库马拉斯瓦米
  • LKJCholesky
  • 拉普拉斯
  • 对数
  • LowRankMultivariateNormal
  • MixtureSameFamily
  • 多项式
  • MultivariateNormal
  • 负双项式
  • 正常
  • OneHotCategorical 餐厅
  • 帕 累 托
  • 泊 松
  • 松弛伯努利
  • LogitRelaxedBernoulli
  • RelaxedOneHotCategorical
  • 学生T
  • TransformedDistribution
  • 均匀
  • 冯米塞斯
  • 威布尔
  • 威沙特
  • KL Divergence
  • 变换
  • 约束
  • 约束注册表
• torch.compiler
  • 阅读更多
• torch.fft
  • 快速傅里叶变换
  • 帮助程序函数
• torch.func
  • 什么是可组合函数转换？
  • 为什么使用可组合函数转换？
  • 阅读更多
• torch.futures
  • 前途
  • collect_all（）
  • wait_all（）
• torch.fx
  • 概述
  • 编写转换
  • 调试
  • 符号跟踪的限制
  • API 参考
• torch.hub
  • 发布模型
  • 从 Hub 加载模型
• torch.jit
  • TorchScript 语言参考
  • 创建 TorchScript 代码
  • 混合跟踪和脚本
  • TorchScript 语言
  • 内置函数和模块
  • 调试
  • 常见问题解答
  • 已知问题
  • 附录
• torch.linalg
  • 矩阵属性
  • 分解
  • 解决
  • 逆
  • 矩阵函数
  • Matrix 产品
  • 张量操作
  • 杂项
  • 实验函数
• torch.monitor
  • API 参考
• torch.signal
  • Torch.signal.windows
• torch.special
  • 功能
• torch.overrides
  • 功能
• torch.package
  • 教程
  • 我该如何...
  • 解释
  • API 参考
• torch.profiler
  • 概述
  • API 参考
  • Intel Instrumentation and Tracing Technology API
• torch.nn.init
  • calculate_gain（）
  • uniform_（）
  • normal_（）
  • constant_（）
  • ones_（）
  • zeros_（）
  • eye_（）
  • dirac_（）
  • xavier_uniform_（）
  • xavier_normal_（）
  • kaiming_uniform_（）
  • kaiming_normal_（）
  • trunc_normal_（）
  • orthogonal_（）
  • sparse_（）
• torch.onnx
  • 概述
  • 基于 TorchDynamo 的 ONNX 导出器
  • 基于 TorchScript 的 ONNX 导出器
  • 贡献 / 开发
• torch.optim
  • 如何使用优化器
  • 基类
  • 算法
  • 如何调整学习率
  • 权重平均（SWA 和 EMA）
• 复数
  • 创建复杂张量
  • 从旧表示过渡
  • 访问 real 和 imag
  • 角钢和 abs
  • 线性代数
  • 序列化
  • 自动grad
• DDP 通信钩子
  • 如何使用通信钩子？
  • 通信钩子对什么进行操作？
  • 默认通信钩子
  • PowerSGD 通信挂钩
  • 调试通信钩子
  • 通信钩子的检查点
  • 确认
• 管道并行度
  • 使用多个 GPU 的模型并行性
  • 流水线执行
  • PyTorch 中的 Pipe API
  • 教程
  • 确认
• 量化
  • 量化简介
  • 量化 API 总结
  • 量化堆栈
  • 量化支持矩阵
  • 量化 API 参考
  • 量化后端配置
  • 量化精度调试
  • 量化自定义
  • 最佳实践
  • 常见问题解答
  • 常见错误
• 分布式 RPC 框架
  • 基本
  • RPC
  • RRef
  • 远程模块
  • 分布式 Autograd 框架
  • 分布式优化器
  • 设计说明
  • 教程
• torch.random
  • fork_rng（）
  • get_rng_state（）
  • initial_seed（）
  • manual_seed（）
  • 种子（）
  • set_rng_state（）
• torch.masked
  • 介绍
  • 支持的运算符
• torch.nested
  • 介绍
  • 建设
  • 大小
  • 㩠
  • 嵌套张量构造函数和转换函数
  • 支持的操作
• torch.sparse
  • 为什么以及何时使用 sparsity
  • 功能概述
  • 操作员概述
  • 稀疏半结构化张量
  • 稀疏 COO 张量
  • 稀疏压缩张量
  • 支持的操作
• torch.Storage
  • TypedStorage （类型存储）
  • UntypedStorage （无类型存储）
  • DoubleStorage 双存储
  • 浮点存储
  • 半存储
  • LongStorage 公司
  • IntStorage
  • ShortStorage 公司
  • CharStorage
  • 字节存储
  • 布尔存储
  • BFloat16存储
  • ComplexDoubleStorage
  • ComplexFloatStorage
  • QUInt8Storage 存储
  • QInt8Storage
  • QInt32Storage
  • QUInt4x2存储
  • QUInt2x4存储
• torch.testing
  • assert_close（）
  • make_tensor（）
  • assert_allclose（）
• torch.utils
  • torch.utils.rename_privateuse1_backend
  • torch.utils.generate_methods_for_privateuse1_backend
  • torch.utils.get_cpp_backtrace
  • torch.utils.set_module
• torch.utils.benchmark
  • 定时器
  • 测量
  • CallgrindStats
  • 函数计数
• torch.utils.bottleneck
• torch.utils.checkpoint
  • 检查点（）
  • checkpoint_sequential（）
• torch.utils.cpp_extension
  • CppExtension（）
  • CUDAExtension（）
  • BuildExtension（）
  • 加载（）
  • load_inline（）
  • include_paths（）
  • get_compiler_abi_compatibility_and_version（）
  • verify_ninja_availability（）
  • is_ninja_available（）
• torch.utils.data
  • 数据集类型
  • 数据加载顺序 和
  • 加载批处理和非批处理数据
  • 单进程和多进程数据加载
  • 内存固定
• torch.utils.jit
• torch.utils.dlpack
  • from_dlpack（）
  • to_dlpack（）
• torch.utils.mobile_optimizer
  • optimize_for_mobile（）
• torch.utils.model_zoo
  • load_url（）
• torch.utils.tensorboard
  • 摘要作者
• 类型信息
  • torch.finfo
  • Torch.iinfo
• 命名张量
  • 创建命名张量
  • 命名维度
  • 名称传播语义
  • 按名称显式对齐
  • 操纵尺寸
  • Autograd 支持
  • 当前支持的操作和子系统
  • 命名张量 API 参考
• 命名张量算子覆盖率
  • 保留输入名称
  • 删除维度
  • 统一输入中的名称
  • 排列维度
  • Contracts away 暗淡
  • 工厂功能
  • out 函数和就地变体
• torch.__config__
  • 显示（）
  • parallel_info（）
• torch._logging
  • torch._logging.set_logs

库

• Torchaudio
• TorchData
• TorchRec
• TorchServe
• TorchText
• TorchVision
• XLA 设备上的 PyTorch

索引和表格

• 指数

• 模块索引