torch.utils.tensorboard¶

在继续之前，可以在 https://www.tensorflow.org/tensorboard/ 获取更多关于 TensorBoard 的详细信息。

安装 TensorBoard 之后，这些工具可以让你将 PyTorch 模型和指标记录到一个目录中，并在 TensorBoard UI 中进行可视化。标量、图像、直方图、图表以及嵌入式可视化都支持用于 PyTorch 模型和张量，同时也支持 Caffe2 网络和 blobs。

SummaryWriter 类是您记录数据以供 TensorBoard 使用和可视化的主入口。例如：

import torch
import torchvision
from torch.utils.tensorboard import SummaryWriter
from torchvision import datasets, transforms

# Writer will output to ./runs/ directory by default
writer = SummaryWriter()

transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,))])
trainset = datasets.MNIST('mnist_train', train=True, download=True, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=64, shuffle=True)
model = torchvision.models.resnet50(False)
# Have ResNet model take in grayscale rather than RGB
model.conv1 = torch.nn.Conv2d(1, 64, kernel_size=7, stride=2, padding=3, bias=False)
images, labels = next(iter(trainloader))

grid = torchvision.utils.make_grid(images)
writer.add_image('images', grid, 0)
writer.add_graph(model, images)
writer.close()

然后可以使用 TensorBoard 进行可视化，TensorBoard 应该可以通过以下方式安装并运行：

pip install tensorboard
tensorboard --logdir=runs

一个实验可以记录大量信息。为了避免界面杂乱并获得更好的结果聚类，我们可以通过分层命名的方式对图表进行分组。例如，在 TensorBoard 界面中，“Loss/train” 和 “Loss/test” 会被归为一组，而 “Accuracy/train” 和 “Accuracy/test” 则会单独归为另一组。

from torch.utils.tensorboard import SummaryWriter
import numpy as np

writer = SummaryWriter()

for n_iter in range(100):
    writer.add_scalar('Loss/train', np.random.random(), n_iter)
    writer.add_scalar('Loss/test', np.random.random(), n_iter)
    writer.add_scalar('Accuracy/train', np.random.random(), n_iter)
    writer.add_scalar('Accuracy/test', np.random.random(), n_iter)

预期结果：

class torch.utils.tensorboard.writer.SummaryWriter(log_dir=None, comment='', purge_step=None, max_queue=10, flush_secs=120, filename_suffix='')[source]¶

直接将条目写入 log_dir 中的事件文件，供 TensorBoard 使用。

SummaryWriter 类提供了一个高级 API，用于在给定目录中创建事件文件并添加摘要和事件。该类异步更新文件内容。这允许训练程序直接从训练循环调用方法将数据添加到文件中，而不会减慢训练速度。

__init__(log_dir=None, comment='', purge_step=None, max_queue=10, flush_secs=120, filename_suffix='')[source]¶

创建一个 SummaryWriter，它将事件和摘要写入事件文件。

Parameters:

log_dir (str) – 保存目录位置。默认为 runs/CURRENT_DATETIME_HOSTNAME，每次运行后都会更改。使用分层文件夹结构可以更轻松地进行运行比较。例如，每次新实验时分别传入 ‘runs/exp1’、‘runs/exp2’ 等，以便在它们之间进行比较。
comment (str) – 附加到默认值的注释 log_dir 后缀 log_dir. 如果 log_dir 被分配，此参数无效。
purge_step (int) – 当在第 $T+X$ 步记录崩溃，并在第 $T$ 步重新启动时，所有 global_step 大于或等于 $T$ 的事件将被清除，并且不会显示在 TensorBoard 上。请注意，崩溃和恢复的实验应使用相同的 log_dir。
max_queue (int) – 在“add”调用之一强制刷新到磁盘之前，待处理事件和摘要的队列大小。默认是十个条目。
flush_secs (int) – 多久刷新一次（以秒为单位），将待处理的事件和摘要写入磁盘。默认是每两分钟一次。
filename_suffix (str) – 添加到 log_dir 目录中所有事件文件名的后缀。有关文件名构建的更多详细信息，请参阅 tensorboard.summary.writer.event_file_writer.EventFileWriter。

Examples:

from torch.utils.tensorboard import SummaryWriter

# create a summary writer with automatically generated folder name.
writer = SummaryWriter()
# folder location: runs/May04_22-14-54_s-MacBook-Pro.local/

# create a summary writer using the specified folder name.
writer = SummaryWriter("my_experiment")
# folder location: my_experiment

# create a summary writer with comment appended.
writer = SummaryWriter(comment="LR_0.1_BATCH_16")
# folder location: runs/May04_22-14-54_s-MacBook-Pro.localLR_0.1_BATCH_16/

add_scalar(tag, scalar_value, global_step=None, walltime=None, new_style=False, double_precision=False)[source]¶

将标量数据添加到摘要中。

Parameters:

tag (str) – 数据标识符
scalar_value (float 或 string/blobname) – 要保存的值
global_step (int) – 要记录的全局步数
墙时间 (浮点数) – 可选覆盖默认的墙时间（time.time()）以事件发生后经过的秒数表示
new_style (boolean) – 是否使用新样式（张量字段）或旧样式（简单值字段）。新样式可能导致更快的数据加载速度。

Examples:

from torch.utils.tensorboard import SummaryWriter
writer = SummaryWriter()
x = range(100)
for i in x:
    writer.add_scalar('y=2x', i * 2, i)
writer.close()

预期结果：

add_scalars(main_tag, tag_scalar_dict, global_step=None, walltime=None)[source]¶

将许多标量数据添加到摘要中。

Parameters:

main_tag (str) – 标签的父名称
tag_scalar_dict (dict) – 存储标签和对应值的键值对
global_step (int) – 要记录的全局步数
墙时间 (浮点数) – 可选覆盖默认的墙时间（time.time()）事件所在纪元后的秒数

Examples:

from torch.utils.tensorboard import SummaryWriter
writer = SummaryWriter()
r = 5
for i in range(100):
    writer.add_scalars('run_14h', {'xsinx':i*np.sin(i/r),
                                    'xcosx':i*np.cos(i/r),
                                    'tanx': np.tan(i/r)}, i)
writer.close()
# This call adds three values to the same scalar plot with the tag
# 'run_14h' in TensorBoard's scalar section.

预期结果：

add_histogram(tag, values, global_step=None, bins='tensorflow', walltime=None, max_bins=None)[source]¶

将直方图添加到摘要中。

Parameters:

tag (str) – 数据标识符
值 (torch.Tensor, numpy.ndarray或 字符串/blobname) – 用于构建直方图的值
global_step (int) – 要记录的全局步数
bins (str) – 为 {‘tensorflow’,’auto’, ‘fd’, …} 中的一个。这决定了如何生成分箱。你可以在以下链接中找到其他选项： https://docs.scipy.org/doc/numpy/reference/generated/numpy.histogram.html
墙时间 (浮点数) – 可选覆盖默认的墙时间（time.time()）事件所在纪元后的秒数

Examples:

from torch.utils.tensorboard import SummaryWriter
import numpy as np
writer = SummaryWriter()
for i in range(10):
    x = np.random.random(1000)
    writer.add_histogram('distribution centers', x + i, i)
writer.close()

预期结果：

add_image(tag, img_tensor, global_step=None, walltime=None, dataformats='CHW')[source]¶

将图像数据添加到摘要中。

请注意，这需要 pillow 包。

Parameters:

tag (str) – 数据标识符
img_tensor (torch.Tensor, numpy.ndarray 或 string/blobname) – 图像数据
global_step (int) – 要记录的全局步数
墙时间 (浮点数) – 可选覆盖默认的墙时间（time.time()）事件所在纪元后的秒数
数据格式 (str) – 图像数据格式规范，形式如 CHW, HWC, HW, WH 等。

Shape:: img_tensor: 默认是 $(3, H, W)$ 。你可以使用 torchvision.utils.make_grid() 将一批张量转换为 3xHxW 格式，或者调用 add_images 并让我们来完成这个任务。具有 $(1, H, W)$ 、 $(H, W)$ 、 $(H, W, 3)$ 的张量也是适用的，只要传递相应的 dataformats 参数即可，例如 CHW、HWC、HW。

Examples:

from torch.utils.tensorboard import SummaryWriter
import numpy as np
img = np.zeros((3, 100, 100))
img[0] = np.arange(0, 10000).reshape(100, 100) / 10000
img[1] = 1 - np.arange(0, 10000).reshape(100, 100) / 10000

img_HWC = np.zeros((100, 100, 3))
img_HWC[:, :, 0] = np.arange(0, 10000).reshape(100, 100) / 10000
img_HWC[:, :, 1] = 1 - np.arange(0, 10000).reshape(100, 100) / 10000

writer = SummaryWriter()
writer.add_image('my_image', img, 0)

# If you have non-default dimension setting, set the dataformats argument.
writer.add_image('my_image_HWC', img_HWC, 0, dataformats='HWC')
writer.close()

预期结果：

add_images(tag, img_tensor, global_step=None, walltime=None, dataformats='NCHW')[source]¶

将批量图像数据添加到摘要中。

请注意，这需要 pillow 包。

Parameters:

tag (str) – 数据标识符
img_tensor (torch.Tensor, numpy.ndarray 或 string/blobname) – 图像数据
global_step (int) – 要记录的全局步数
墙时间 (浮点数) – 可选覆盖默认的墙时间（time.time()）事件所在纪元后的秒数
数据格式 (str) – 图像数据格式规范，形式如 NCHW, NHWC, CHW, HWC, HW, WH 等。

Shape:: img_tensor: 默认是 $(N, 3, H, W)$ 。如果指定了 dataformats，将接受其他形状的输入。例如 NCHW 或 NHWC。

Examples:

from torch.utils.tensorboard import SummaryWriter
import numpy as np

img_batch = np.zeros((16, 3, 100, 100))
for i in range(16):
    img_batch[i, 0] = np.arange(0, 10000).reshape(100, 100) / 10000 / 16 * i
    img_batch[i, 1] = (1 - np.arange(0, 10000).reshape(100, 100) / 10000) / 16 * i

writer = SummaryWriter()
writer.add_images('my_image_batch', img_batch, 0)
writer.close()

预期结果：

add_figure(tag, figure, global_step=None, close=True, walltime=None)[source]¶

将 matplotlib 图形渲染为图像并将其添加到摘要中。

请注意，这需要 matplotlib 包。

Parameters:

tag (str) – 数据标识符
图像 (matplotlib.pyplot.figure) – 图像或图像列表
global_step (int) – 要记录的全局步数
关闭 (布尔值) – 用于自动关闭图形的标志
墙时间 (浮点数) – 可选覆盖默认的墙时间（time.time()）事件所在纪元后的秒数

add_video(tag, vid_tensor, global_step=None, fps=4, walltime=None)[source]¶

将视频数据添加到摘要中。

请注意，这需要 moviepy 包。

Parameters:

tag (str) – 数据标识符
vid_tensor (torch.Tensor) – 视频数据
global_step (int) – 要记录的全局步数
fps (浮点数 或整数) – 每秒帧数
墙时间 (浮点数) – 可选覆盖默认的墙时间（time.time()）事件所在纪元后的秒数

Shape:: vid_tensor: $(N, T, C, H, W)$ . 值应在类型 uint8 的 [0, 255] 或类型 float 的 [0, 1] 范围内。

add_audio(tag, snd_tensor, global_step=None, sample_rate=44100, walltime=None)[source]¶

将音频数据添加到摘要中。

Parameters:

tag (str) – 数据标识符
snd_tensor (torch.Tensor) – 音频数据
global_step (int) – 要记录的全局步数
sample_rate (int) – 采样率，单位为Hz
墙时间 (浮点数) – 可选覆盖默认的墙时间（time.time()）事件所在纪元后的秒数

Shape:: snd_tensor: $(1, L)$ . 值应在 [-1, 1] 范围内。

add_text(tag, text_string, global_step=None, walltime=None)[source]¶

将文本数据添加到摘要中。

Parameters:

tag (str) – 数据标识符
文本字符串 (str) – 要保存的字符串
global_step (int) – 要记录的全局步数
墙时间 (浮点数) – 可选覆盖默认的墙时间（time.time()）事件所在纪元后的秒数

Examples:

writer.add_text('lstm', 'This is an lstm', 0)
writer.add_text('rnn', 'This is an rnn', 10)

add_graph(model, input_to_model=None, verbose=False, use_strict_trace=True)[source]¶

将图数据添加到摘要中。

Parameters:

模型 (torch.nn.Module) – 要绘制的模型。
input_to_model (torch.Tensor 或 torch.Tensor 的列表) – 要输入到模型中的变量或变量元组。
verbose (bool) – 是否在控制台打印图结构。
use_strict_trace (bool) – 是否将关键字参数 strict 传递给 torch.jit.trace。当你希望追踪器记录可变容器类型（如列表、字典）时，将其设为 False。

add_embedding(mat, metadata=None, label_img=None, global_step=None, tag='default', metadata_header=None)[source]¶

将嵌入投影数据添加到摘要中。

Parameters:

mat (torch.Tensor 或 numpy.ndarray) – 一个矩阵，其中每一行是数据点的特征向量
metadata (list) – 一个标签列表，每个元素将被转换为字符串
label_img (torch.Tensor) – 每个数据点对应的图像
global_step (int) – 要记录的全局步数
tag (str) – 嵌入的名称

Shape:

mat: $(N, D)$ ，其中 N 是数据数量，D 是特征维度

标签图像: $(N, C, H, W)$

Examples:

import keyword
import torch
meta = []
while len(meta)<100:
    meta = meta+keyword.kwlist # get some strings
meta = meta[:100]

for i, v in enumerate(meta):
    meta[i] = v+str(i)

label_img = torch.rand(100, 3, 10, 32)
for i in range(100):
    label_img[i]*=i/100.0

writer.add_embedding(torch.randn(100, 5), metadata=meta, label_img=label_img)
writer.add_embedding(torch.randn(100, 5), label_img=label_img)
writer.add_embedding(torch.randn(100, 5), metadata=meta)

add_pr_curve(tag, labels, predictions, global_step=None, num_thresholds=127, weights=None, walltime=None)[source]¶

添加精确率-召回率曲线。绘制精确率-召回率曲线有助于你了解模型在不同阈值设置下的性能。使用此功能时，你需要为每个目标提供真实标签（真/假）和预测置信度（通常是模型的输出）。TensorBoard 界面将允许你交互式地选择阈值。

Parameters:

tag (str) – 数据标识符
标签 (torch.Tensor, numpy.ndarray, 或 字符串/blobname) – 真实数据。每个元素的二进制标签。
预测 (torch.Tensor, numpy.ndarray, 或 字符串/blobname) – 元素被归类为真类的概率。值应在 [0, 1] 范围内
global_step (int) – 要记录的全局步数
num_thresholds (int) – 用于绘制曲线的阈值数量。
墙时间 (浮点数) – 可选覆盖默认的墙时间（time.time()）事件所在纪元后的秒数

Examples:

from torch.utils.tensorboard import SummaryWriter
import numpy as np
labels = np.random.randint(2, size=100)  # binary label
predictions = np.random.rand(100)
writer = SummaryWriter()
writer.add_pr_curve('pr_curve', labels, predictions, 0)
writer.close()

add_custom_scalars(layout)[source]¶

通过在‘scalars’中收集图表标签来创建特殊图表。请注意，此函数对每个SummaryWriter()对象只能调用一次。由于该函数仅向tensorboard提供元数据，因此可以在训练循环之前或之后调用该函数。

Parameters:: layout (dict) – {categoryName: charts}, 其中 charts 也是一个字典 {chartName: ListOfProperties}。在 ListOfProperties 中，第一个元素是图表的类型（Multiline 或 Margin 之一），第二个元素应该是一个列表，包含你在 add_scalar 函数中使用的标签，这些标签将被收集到新的图表中。

Examples:

layout = {'Taiwan':{'twse':['Multiline',['twse/0050', 'twse/2330']]},
             'USA':{ 'dow':['Margin',   ['dow/aaa', 'dow/bbb', 'dow/ccc']],
                  'nasdaq':['Margin',   ['nasdaq/aaa', 'nasdaq/bbb', 'nasdaq/ccc']]}}

writer.add_custom_scalars(layout)

add_mesh(tag, vertices, colors=None, faces=None, config_dict=None, global_step=None, walltime=None)[source]¶

将网格或3D点云添加到TensorBoard中。可视化基于Three.js, 因此允许用户与渲染对象进行交互。除了基本定义如顶点、面，用户还可以进一步提供相机参数、光照条件等。请查看 https://threejs.org/docs/index.html#manual/en/introduction/Creating-a-scene 以了解高级用法。

Parameters:

tag (str) – 数据标识符
顶点 (torch.Tensor) – 顶点的3D坐标列表。
颜色 (torch.Tensor) – 每个顶点的颜色
faces (torch.Tensor) – 每个三角形内的顶点索引。(可选)
config_dict – 包含ThreeJS类名称和配置的字典。
global_step (int) – 要记录的全局步数
墙时间 (浮点数) – 可选覆盖默认的墙时间（time.time()）事件所在纪元后的秒数

Shape:

顶点数: $(B, N, 3)$ . (批次, 顶点数量, 通道)

颜色: $(B, N, 3)$ . 对于类型 uint8，值应在 [0, 255] 范围内；对于类型 float，值应在 [0, 1] 范围内。

faces: $(B, N, 3)$ . The values should lie in [0, number_of_vertices] for type uint8.

Examples:

from torch.utils.tensorboard import SummaryWriter
vertices_tensor = torch.as_tensor([
    [1, 1, 1],
    [-1, -1, 1],
    [1, -1, -1],
    [-1, 1, -1],
], dtype=torch.float).unsqueeze(0)
colors_tensor = torch.as_tensor([
    [255, 0, 0],
    [0, 255, 0],
    [0, 0, 255],
    [255, 0, 255],
], dtype=torch.int).unsqueeze(0)
faces_tensor = torch.as_tensor([
    [0, 2, 3],
    [0, 3, 1],
    [0, 1, 2],
    [1, 3, 2],
], dtype=torch.int).unsqueeze(0)

writer = SummaryWriter()
writer.add_mesh('my_mesh', vertices=vertices_tensor, colors=colors_tensor, faces=faces_tensor)

writer.close()

add_hparams(hparam_dict, metric_dict, hparam_domain_discrete=None, run_name=None)[source]¶

在 TensorBoard 中添加一组要比较的超参数。

Parameters:

hparam_dict (dict) – 字典中的每个键值对是超参数的名称及其对应的值。值的类型可以是 bool, string, float, int 或 None 中的一种。
metric_dict (dict) – 字典中的每个键值对是指标的名称及其对应的值。请注意，此处使用的键在 tensorboard 记录中应该是唯一的。否则通过 add_scalar 添加的值将显示在 hparam 插件中。在大多数情况下，这是不希望发生的。
hparam_domain_discrete – (Optional[Dict[str, List[Any]]]) 一个字典，包含超参数的名称及其所有可能的离散值
run_name (str) – 运行的名称，将作为日志目录的一部分包含在内。如果未指定，将使用当前时间戳。

Examples:

from torch.utils.tensorboard import SummaryWriter
with SummaryWriter() as w:
    for i in range(5):
        w.add_hparams({'lr': 0.1*i, 'bsize': i},
                      {'hparam/accuracy': 10*i, 'hparam/loss': 10*i})

预期结果：

flush()[source]¶: 将事件文件刷新到磁盘。调用此方法以确保所有待处理的事件已写入磁盘。

close()[source]¶

torch.utils.tensorboard¶

文档

教程

资源