Kubernetes （简体中文）

先决条件

TorchX kubernetes 调度器依赖于 volcano，需要安装 etcd 来执行分布式作业。

安装 volcano 1.4.0 版本

kubectl apply -f https://raw.githubusercontent.com/volcano-sh/volcano/v1.4.0/installer/volcano-development.yaml

TorchX 使用 torch.distributed.run 来运行分布式训练。 这需要在 kubernetes 集群上安装 etcd 服务：

kubectl apply -f https://github.com/pytorch/torchx/blob/main/resources/etcd.yaml

了解有关运行分布式训练程序的更多信息torchx.components.dist

torchx.schedulers.kubernetes_scheduler 类。KubernetesScheduler（session_name： str， client： 可选[ApiClient] = None）

KubernetesScheduler 是 Kubernetes 的 TorchX 调度接口。

重要提示：需要在 Kubernetes 集群上安装 Volcano。 TorchX 需要 gang 调度才能执行多副本 / 多角色 Volcano 是目前唯一支持的 Kubernetes 调度器。 有关安装说明，请参阅： https://github.com/volcano-sh/volcano

这已被确认适用于 Volcano v1.3.0 和 Kubernetes 版本 v1.18-1.21. 参见 https://github.com/pytorch/torchx/issues/120 即 跟踪 Volcano 对 Kubernetes v1.22 的支持。

注意

如果 AppDef 失败，则重试次数超过 0 次的 AppDef 可能不会显示为 Pod。 这是由于 Volcano 中的已知错误（根据 1.4.0 版本）：https://github.com/volcano-sh/volcano/issues/1651

$ pip install torchx[kubernetes]
$ torchx run --scheduler kubernetes --scheduler_args namespace=default,queue=test utils.echo --image alpine:latest --msg hello
kubernetes://torchx_user/1234
$ torchx status kubernetes://torchx_user/1234
...

特征	计划程序支持
获取日志	✔️
分布式作业	✔️
取消作业	✔️
描述任务	部分支持。KubernetesScheduler 将返回 Job 和 Replica 状态，但不提供完整的原始 AppSpec。

describe（app_id： str） → 可选[torchx.schedulers.api.DescribeAppResponse]

描述指定的应用程序。

返回

AppDef 描述，或者应用程序不存在。None

log_iter（app_id： str， role_name： str， k： int = 0， regex： 可选[str] = 无，因为：可选[datetime.datetime] = 无，直到：可选[datetime.datetime] = None， should_tail： bool = False） → Iterable[str]

返回 . 迭代器 ends end 所有符合条件的日志行都已读取。k``th replica of the ``role

如果调度程序支持基于时间的游标获取日志行 对于自定义时间范围，则 ， 字段为 honored，否则将被忽略。未指定 ，相当于获取所有可用的日志行。如果 是 empty，则迭代器的行为类似于 ，跟在日志输出之后 直到作业达到 END 状态。sinceuntilsinceuntiluntiltail -f

构成日志的确切定义特定于计划程序。一些 调度器可能会将 stderr 或 stdout 视为日志，其他人可能会读取日志 从日志文件中。

行为和假设：

1. 如果在不存在的应用程序上调用，则生成 undefined-behavior 调用方应在调用此方法之前检查应用是否存在 using。exists(app_id)

2. 不是有状态的，使用相同的参数调用此方法两次 返回一个新的迭代器。先前迭代 进度丢失。

3. 并不总是支持对数拖尾。并非所有调度程序都支持 live 日志迭代（例如，在应用程序运行时跟踪日志）。指 Iterator 行为的特定 scheduler 文档。

3.1 如果调度器支持 log-tailing，应该对其进行控制

by''should_tail'' 参数。

4. 不保证日志保留。有可能到这个 方法调用时，底层调度程序可能已经清除了日志记录 对于此应用程序。如果是这样，此方法将引发任意异常。

5. 如果为 True，则该方法仅引发异常 当可访问的日志行已完全耗尽并且应用程序已达到 最终状态。例如，如果应用程序卡住并且没有产生任何日志行， 然后 iterator 会阻塞，直到应用程序最终被杀死（通过 timeout 或手动），此时它会引发一个 .should_tailStopIterationStopIteration

   如果为 False，则当没有更多日志时，该方法将引发。should_tailStopIteration

6. 不需要所有调度程序都支持。

7. 一些调度器可能通过支持 line cursor（例如 寻找第 50 个对数行）。__getitem__iter[50]

返回

指定角色副本的 over log linesIterator

提高

NotImplementedError – 如果调度程序不支持日志迭代

run_opts（） → torchx.specs.api.runopts

返回计划程序所需的运行配置选项。 基本上是 API 的。--helprun

schedule（dryrun_info 的 Package 中：torchx.specs.api.AppDryRunInfo[torchx.schedulers.kubernetes_scheduler.KubernetesJob]） → str

相同，只是它需要一个 . 鼓励实现者实现此方法，而不是 直接实现 since 可以很简单 实施者：submitAppDryRunInfosubmitsubmit

dryrun_info = self.submit_dryrun(app, cfg)
return schedule(dryrun_info)