torch.nn.functional

卷积函数

卷积 1d	将 1D 卷积应用于由多个输入平面组成的输入信号。
卷积2D	在由多个输入平面组成的输入图像上应用 2D 卷积。
卷积3D	将 3D 卷积应用于由多个输入平面组成的输入图像。
conv_transpose1d	将 1D 转置卷积运算符应用于由多个输入平面组成的输入信号，有时也称为“反卷积”。
conv_transpose2d	将 2D 转置卷积运算符应用于由多个输入平面组成的输入图像，有时也称为“反卷积”。
conv_transpose3d	将 3D 转置卷积运算符应用于由多个输入平面组成的输入图像，有时也称为“反卷积”
展开	从批处理的输入张量中提取滑动局部块。
倍	将一组滑动的局部块组合成一个大的包含张量。

池化函数

avg_pool1d	在由多个输入平面组成的输入信号上应用 1D 平均池化。
avg_pool2d	在 中应用 2D 平均池化操作$kH \times kW$按步长划分的区域$sH \times sW$步骤。
avg_pool3d	在 中应用 3D 平均池化操作$kT \times kH \times kW$按步长划分的区域$sT \times sH \times sW$步骤。
max_pool1d	在由多个输入平面组成的输入信号上应用 1D 最大池化。
max_pool2d	在由多个输入平面组成的输入信号上应用 2D 最大池化。
max_pool3d	在由多个输入平面组成的输入信号上应用 3D 最大池化。
max_unpool1d	计算 的偏逆 。MaxPool1d
max_unpool2d	计算 的偏逆 。MaxPool2d
max_unpool3d	计算 的偏逆 。MaxPool3d
lp_pool1d	在由多个输入平面组成的输入信号上应用 1D 功率平均池化。
lp_pool2d	在由多个输入平面组成的输入信号上应用 2D 功率平均池。
adaptive_max_pool1d	在由多个输入平面组成的输入信号上应用 1D 自适应最大池化。
adaptive_max_pool2d	在由多个输入平面组成的输入信号上应用 2D 自适应最大池化。
adaptive_max_pool3d	在由多个输入平面组成的输入信号上应用 3D 自适应最大池化。
adaptive_avg_pool1d	在由多个输入平面组成的输入信号上应用 1D 自适应平均池化。
adaptive_avg_pool2d	在由多个输入平面组成的输入信号上应用 2D 自适应平均池化。
adaptive_avg_pool3d	在由多个输入平面组成的输入信号上应用 3D 自适应平均池化。
fractional_max_pool2d	在由多个输入平面组成的输入信号上应用 2D 分数最大池化。
fractional_max_pool3d	在由多个输入平面组成的输入信号上应用 3D 分数最大池化。

注意力机制

scaled_dot_product_attention

计算对查询、键和值张量的缩放点积注意力，如果传递，则使用可选的注意力掩码，如果指定的概率大于 0.0，则应用 dropout。

非线性激活函数

门槛	对输入 Tensor 的每个元素进行阈值设置。
门槛_	的就地版本 .
RELU	按元素应用修正的线性单元函数。
relu_	的就地版本 .
哈尔坦	按元素应用 HardTanh 函数。
hardtanh_	的就地版本 .
硬	按元素应用 hardswish 函数，如论文中所述：
回复 6	应用元素级函数$\text{ReLU6}(x) = \min(\max(0,x), 6)$.
ELU	按元素应用 Exponential Linear Unit （ELU） 函数。
elu_	的就地版本 .
塞鲁	按元素应用，$\text{SELU}(x) = scale * (\max(0,x) + \min(0, \alpha * (\exp(x) - 1)))$跟$\alpha=1.6732632423543772848170429916717$和$scale=1.0507009873554804934193349852946$.
CELU	按元素应用，$\text{CELU}(x) = \max(0,x) + \min(0, \alpha * (\exp(x/\alpha) - 1))$.
leaky_relu	按元素应用，$\text{LeakyReLU}(x) = \max(0, x) + \text{negative\_slope} * \min(0, x)$
leaky_relu_	的就地版本 .
普雷鲁	按元素应用函数$\text{PReLU}(x) = \max(0,x) + \text{weight} * \min(0,x)$其中 weight 是一个可学习的参数。
rrelu	随机泄漏 ReLU。
rrelu_	的就地版本 .
格鲁	门控线性单元。
格鲁	当 approximate 参数为 'none' 时，它会按元素应用函数$\text{GELU}(x) = x * \Phi(x)$
logigmoid	按元素应用$\text{LogSigmoid}(x_i) = \log \left(\frac{1}{1 + \exp(-x_i)}\right)$
硬收缩	按元素应用硬收缩函数
tanhshrink	按元素应用，$\text{Tanhshrink}(x) = x - \text{Tanh}(x)$
软件签名	按元素应用函数$\text{SoftSign}(x) = \frac{x}{1 + |x|}$
软加	按元素应用函数$\text{Softplus}(x) = \frac{1}{\beta} * \log(1 + \exp(\beta * x))$.
softmin 软件	应用 softmin 函数。
softmax	应用 softmax 函数。
softshrink （软收缩）	按元素应用软收缩函数
gumbel_softmax	来自 Gumbel-Softmax 分布的样本（链接 1、链接 2）和可选的离散化。
log_softmax	应用 softmax，后跟对数。
丹	按元素应用，$\text{Tanh}(x) = \tanh(x) = \frac{\exp(x) - \exp(-x)}{\exp(x) + \exp(-x)}$
乙状结肠	应用元素级函数$\text{Sigmoid}(x) = \frac{1}{1 + \exp(-x)}$
硬乙状结肠	应用元素级函数
西鲁	按元素应用 Sigmoid 线性单元 （SiLU） 功能。
米什	按元素应用 Mish 函数。
batch_norm	对一批数据中的每个通道应用批量标准化。
group_norm	对最近一定数量的维度应用组规范化。
instance_norm	对批量中每个数据样本中的每个通道应用实例标准化。
layer_norm	对最近一定数量的维度应用图层标准化。
local_response_norm	对由多个输入平面组成的输入信号应用局部响应归一化，其中声道占据第二个维度。
正常化	执行$L_p$指定维度上输入的归一化。

线性函数

线性	对传入数据应用线性转换：$y = xA^T + b$.
双	将双线性变换应用于传入数据：$y = x_1^T A x_2 + b$

Dropout 函数

辍学	在训练期间，使用伯努利分布中的样本以概率随机将输入张量的某些元素随机归零。p
alpha_dropout	将 Alpha 丢弃应用于输入。
feature_alpha_dropout	随机屏蔽整个通道（通道是一个特征图，例如
辍学1d	将整个通道随机归零（通道是 1D 特征图，例如$j$-th 通道的$i$-batch input 中的第 -th 样本是 1D 张量$\text{input}[i, j]$） 的 Intent Tensor 的 Intent Tensor 的 Intent T
辍学2D	将整个 channel 随机归零（channel 是一个 2D 特征图，例如$j$-th 通道的$i$-batch input 中的第 -th 个样本是 2D 张量$\text{input}[i, j]$） 的 Intent Tensor 的 Intent Tensor 的 Intent T
辍学3D	将整个通道随机归零（通道是一个 3D 特征图，例如$j$-th 通道的$i$-batch input 中的第 -th 个样本是 3D 张量$\text{input}[i, j]$） 的 Intent Tensor 的 Intent Tensor 的 Intent T

稀疏函数

嵌入	一个简单的查找表，用于查找固定字典和大小的嵌入。
embedding_bag	计算嵌入包的 sums、means 或 max，而不实例化中间嵌入。
one_hot	采用索引值为 shape 的 LongTensor，并返回一个 shape 的张量，该张量在任何地方都有零，但最后一个维度的索引与输入张量的相应值匹配时除外，在这种情况下，它将为 1。(*)(*, num_classes)

距离函数

pairwise_distance	查看详情
cosine_similarity	返回 和 之间的余弦相似度，沿 dim 计算。x1x2
PDIST	计算输入中每对行向量之间的 p-norm 距离。

损失函数

binary_cross_entropy	测量目标概率和输入概率之间的二进制交叉熵的函数。
binary_cross_entropy_with_logits	测量目标和输入 logit 之间的二进制交叉熵的函数。
poisson_nll_loss	泊松负对数似然损失。
cosine_embedding_loss	有关详细信息，请参阅。
cross_entropy	该准则计算 input logit 和 target 之间的交叉熵损失。
ctc_loss	Connectionist Temporal Classification 损失。
gaussian_nll_loss	高斯负对数似然损失。
hinge_embedding_loss	有关详细信息，请参阅。
kl_div	Kullback-Leibler 背离损失
l1_loss	取均值元素绝对值差的函数。
mse_loss	测量元素均方误差。
margin_ranking_loss	有关详细信息，请参阅。
multilabel_margin_loss	有关详细信息，请参阅。
multilabel_soft_margin_loss	有关详细信息，请参阅。
multi_margin_loss	有关详细信息，请参阅。
nll_loss	负对数似然损失。
huber_loss	如果绝对元素误差低于 delta，则使用平方项，否则使用 delta 缩放的 L1 项的函数。
smooth_l1_loss	如果绝对元素误差低于 beta，则使用平方项，否则使用 L1 项的函数。
soft_margin_loss	有关详细信息，请参阅。
triplet_margin_loss	查看详情
triplet_margin_with_distance_loss	有关详细信息，请参阅。

视觉功能

pixel_shuffle	在 shape 为$(*, C \times r^2, H, W)$转换为 shape 为$(*, C, H \times r, W \times r)$，其中 r 是 。upscale_factor
pixel_unshuffle	通过重新排列 shape 为$(*, C, H \times r, W \times r)$转换为 shape 为$(*, C \times r^2, H, W)$，其中 r 是 。downscale_factor
垫	Pads 张量。
插话	对输入进行下采样/向上采样为给定的或给定的sizescale_factor
上采样	将输入上采样为 given 或 givensizescale_factor
upsample_nearest	使用最近邻的像素值对输入进行上采样。
upsample_bilinear	使用双线性上采样对输入进行上采样。
grid_sample	给定 和 一个流场 ，计算 using 值和像素位置。inputgridoutputinputgrid
affine_grid	在给定一批仿射矩阵的情况下生成 2D 或 3D 流场（采样网格）。theta

DataParallel 函数（多 GPU、分布式）

data_parallel

torch.nn.parallel.data_parallel

在 device_ids 中给定的 GPU 之间并行评估 module（input）。