分布式¶

对于分布式训练，TorchX 依赖调度器的批调度能力来调度 n 个节点副本。一旦启动，应用程序应以利用这种拓扑的方式编写，例如使用 PyTorch 的 DDP。你可以通过在组件的 AppDef 中指定多个 torchx.specs.Role 来表达各种节点拓扑。每个角色映射到一组同构的节点，在整体训练中执行一个“角色”（功能）。从调度的角度来看，TorchX 以子批的方式启动每个角色。

DDP 风格的训练作业只有一个角色：训练器。而使用参数服务器的训练作业则有两个角色：参数服务器和训练器。你可以为每个角色指定不同的入口点（可执行文件）、副本数量、资源需求等。

DDP 内置¶

DDP风格的训练器很常见且易于模板化，因为它们是同构的单一角色AppDefs，所以有一个内置的：dist.ddp。假设你的DDP训练脚本名为main.py，可以通过以下方式启动它：

# locally, 1 node x 4 workers
$ torchx run -s local_cwd dist.ddp -j 1x4 --script main.py

# locally, 2 node x 4 workers (8 total)
# remote (needs you to start a local etcd server on port 2379! and have a `python-etcd` library installed)
$ torchx run -s local_cwd dist.ddp
    -j 2x4 \
    --rdzv_endpoint localhost:2379 \
    --script main.py \

# remote (needs you to setup an etcd server first!)
$ torchx run -s kubernetes -cfg queue=default dist.ddp \
    -j 2x4 \
    --script main.py \

有很多事情在幕后发生，所以我们强烈建议你继续阅读这部分内容，以便了解一切是如何运作的。此外，请注意，虽然dist.ddp很方便，但你会发现自己编写自己的分布式组件不仅简单（最简单的方法就是复制dist.ddp！），而且在未来会带来更好的灵活性和可维护性，因为内置API比更稳定的规范API更容易变化。然而这个选择是你的，如果你的需求得到满足，可以依赖内置API。

分布式训练¶

本地测试¶

注意

请先遵循运行示例的前提条件。

在本地运行分布式训练是一种快速验证你的训练脚本的方法。TorchX 的本地调度器将为每个副本创建一个进程 (--nodes)。下面的例子使用 torchelastic 作为每个节点的主要入口点，进而启动 --nprocs_per_node 个训练器。总共你会看到 nnodes*nprocs_per_node 个训练器进程和 nnodes 个弹性代理进程在你的本地主机上创建。

$ torchx run -s local_docker ./torchx/examples/apps/lightning_classy_vision/component.py:trainer_dist \
     --nnodes 2 \
     --nproc_per_node 2 \
     --rdzv_backend c10d \
     --rdzv_endpoint localhost:29500

远程启动¶

注意

请先遵循 Prerequisites。

以下示例演示了如何远程在Kubernetes上启动相同的工作。

$ torchx run -s kubernetes -cfg queue=default \
    ./torchx/examples/apps/lightning_classy_vision/component.py:trainer_dist \
    --nnodes 2 \
    --nproc_per_node 2 \
    --rdzv_backend etcd \
    --rdzv_endpoint etcd-server.default.svc.cluster.local:2379
torchx 2021-10-18 18:46:55 INFO     Launched app: kubernetes://torchx/default:cv-trainer-pa2a7qgee9zng
torchx 2021-10-18 18:46:55 INFO     AppStatus:
  msg: <NONE>
  num_restarts: -1
  roles: []
  state: PENDING (2)
  structured_error_msg: <NONE>
  ui_url: null

torchx 2021-10-18 18:46:55 INFO     Job URL: None

请注意，与本地启动相比，唯一的区别是调度器 (-s) 和 --rdzv_backend。etcd 也可以在本地情况下工作，但我们使用了 c10d 因为它不需要额外的设置。请注意，这是 torchelastic 的要求，而不是 TorchX。了解更多关于会合的信息在这里。

注意

对于GPU训练，保持nproc_per_node等于主机上的GPU数量，并更改资源需求在torchx/examples/apps/lightning_classy_vision/component.py:trainer_dist 方法。将resource_def修改为主机拥有的GPU数量。

组件APIs¶

torchx.components.dist.ddp(*script_args: str, script: str, image: str = 'ghcr.io/pytorch/torchx:0.1.1', name: Optional[str] = None, h: str = 'aws_t3.medium', j: str = '1x2', rdzv_endpoint: str = 'etcd-server.default.svc.cluster.local:2379') → torchx.specs.api.AppDef [source]¶

分布式数据并行风格的应用（一个角色，多个副本）。使用 torch.distributed.run 启动和协调 PyTorch 工作进程。

Parameters

script_args – 主模块的参数
脚本 – 在镜像中运行的脚本或二进制文件
图像 – 图像 (例如 docker)
名称 – 作业名称覆盖（如果未指定，则使用脚本名称）
h – 一个注册的命名资源
j – {nnodes}x{nproc_per_node}, for gpu hosts, nproc_per_node must not exceed num gpus
rdzv_endpoint – etcd 服务器端点（仅在 nnodes > 1 时重要）