Kubernetes¶
预备知识¶
TorchX 的 Kubernetes 调度器依赖于 volcano 并且需要安装 etcd 以支持分布式任务执行。
安装 volcano 1.4.0 版本
kubectl apply -f https://raw.githubusercontent.com/volcano-sh/volcano/v1.4.0/installer/volcano-development.yaml
TorchX 使用 torch.distributed.run 运行分布式训练。 这需要在您的 Kubernetes 集群上安装 etcd 服务：
kubectl apply -f https://github.com/pytorch/torchx/blob/main/resources/etcd.yaml
了解有关运行分布式训练器的更多信息 torchx.components.dist
- class torchx.schedulers.kubernetes_scheduler.KubernetesScheduler(session_name: str, client: Optional[ApiClient] = None)[source]¶
KubernetesScheduler 是一个用于 Kubernetes 的 TorchX 调度接口。
重要：需要在Kubernetes集群上安装Volcano。 TorchX需要群集调度以支持多实例/多角色执行， 而Volcano目前是唯一受支持的Kubernetes调度程序。 有关安装说明，请参见：https://github.com/volcano-sh/volcano
这已确认与Volcano v1.3.0和Kubernetes版本v1.18-1.21兼容。参见https://github.com/pytorch/torchx/issues/120，该链接正在跟踪Volcano对Kubernetes v1.22的支持。
注意
重试次数大于0的AppDefs在失败后可能不会显示为pods。 这是由于Volcano（截至1.4.0版本）中的已知问题： https://github.com/volcano-sh/volcano/issues/1651
$ pip install torchx[kubernetes] $ torchx run --scheduler kubernetes --scheduler_args namespace=default,queue=test utils.echo --image alpine:latest --msg hello kubernetes://torchx_user/1234 $ torchx status kubernetes://torchx_user/1234 ...
功能
调度程序支持
获取日志
✔️
分布式作业
✔️
取消任务
✔️
描述工作
部分支持。KubernetesScheduler 将返回作业和副本状态，但不提供完整的原始 AppSpec。
- describe(app_id: str) → Optional[torchx.schedulers.api.DescribeAppResponse][source]¶
描述指定的应用程序。
- Returns
应用程序定义描述或
None如果应用程序不存在。
- log_iter(app_id: str, role_name: str, k: int = 0, regex: Optional[str] = None, since: Optional[datetime.datetime] = None, until: Optional[datetime.datetime] = None, should_tail: bool = False) → Iterable[str][source]¶
返回一个迭代器，用于获取满足条件的日志行。
k``th replica of the ``role。 迭代器在所有符合条件的日志行都被读取后结束。如果调度程序支持基于时间指针获取日志行，则
since，until字段会被遵循，否则会被忽略。不指定since和until相当于获取所有可用的日志行。如果until为空，则迭代器的行为就像tail -f一样，跟随日志输出直到作业达到终端状态。日志的确切定义取决于调度程序的具体设置。有些调度程序可能会将标准错误或标准输出视为日志，而其他调度程序则可能从日志文件中读取日志。
行为和假设：
如果在不存在的应用程序上调用此方法，会产生未定义行为。 调用者应在调用此方法之前使用
exists(app_id)检查应用程序是否存在。不是有状态的，用相同的参数调用此方法两次 会返回一个新的迭代器。之前的迭代 进度会丢失。
不一定始终支持日志追尾功能。并非所有调度器都支持实时日志迭代（例如，在应用程序运行时追尾日志）。有关迭代器的行为，请参阅特定调度器的文档。
- 3.1 If the scheduler supports log-tailing, it should be controlled
by``should_tail``参数。
不保证日志保留。调用此方法时，底层调度程序可能已经清除了该应用程序的日志记录。如果是这样的话，此方法将引发任意异常。
如果
should_tail为 True，该方法仅在可访问的日志行已完全耗尽且应用程序达到最终状态时抛出StopIteration异常。 例如，如果应用程序卡住且没有生成任何日志行，则迭代器会阻塞直到应用程序最终被终止（通过超时或手动操作），此时它会抛出一个StopIteration异常。如果
should_tail是 False，该方法在没有更多日志时抛出StopIteration。不一定由所有调度器支持。
某些调度器可能通过支持
__getitem__（例如，iter[50]寻找第 50 行日志）来支持行光标。
- Returns
一个指定角色副本的日志行上的
Iterator- Raises
NotImplementedError – 如果调度器不支持日志迭代
- run_opts() → torchx.specs.api.runopts[source]¶
返回调度程序所期望的运行配置选项。 基本上是
--help的runAPI。