目录
目录

Kubernetes （简体中文）

这包含可用于运行 TorchX 的 TorchX Kubernetes 调度器 组件。

先决条件

TorchX Kubernetes 调度器依赖于 Volcano。如果您尝试执行 升级时，您需要完全删除所有非 Job Volcano 资源并重新创建。

安装 Volcano：

kubectl apply -f https://raw.githubusercontent.com/volcano-sh/volcano/v1.6.0/installer/volcano-development.yaml

有关更多信息，请参阅 Volcano 快速入门。

torchx.schedulers.kubernetes_scheduler 类。KubernetesScheduler（session_name： str， client： 可选[ApiClient] = None， docker_client： 可选[DockerClient] = None）[源]

基地：DockerWorkspaceMixin,Scheduler[KubernetesOpts]

KubernetesScheduler 是 Kubernetes 的 TorchX 调度接口。

重要提示：需要在 Kubernetes 集群上安装 Volcano。 TorchX 需要 gang 调度才能执行多副本 / 多角色 Volcano 是目前唯一支持的 Kubernetes 调度器。 有关安装说明，请参阅： https://github.com/volcano-sh/volcano

这已被确认适用于 Volcano v1.3.0 和 Kubernetes 版本 v1.18-1.21. 参见 https://github.com/pytorch/torchx/issues/120 即 跟踪 Volcano 对 Kubernetes v1.22 的支持。

注意

如果 AppDef 失败，则重试次数超过 0 次的 AppDef 可能不会显示为 Pod。 这是由于 Volcano 中的已知错误（根据 1.4.0 版本）：https://github.com/volcano-sh/volcano/issues/1651

$ pip install torchx[kubernetes]
$ torchx run --scheduler kubernetes --scheduler_args namespace=default,queue=test utils.echo --image alpine:latest --msg hello
kubernetes://torchx_user/1234
$ torchx status kubernetes://torchx_user/1234
...

配置选项

    usage:
        queue=QUEUE,[namespace=NAMESPACE],[service_account=SERVICE_ACCOUNT],[priority_class=PRIORITY_CLASS],[image_repo=IMAGE_REPO]

    required arguments:
        queue=QUEUE (str)
            Volcano queue to schedule job in

    optional arguments:
        namespace=NAMESPACE (str, default)
            Kubernetes namespace to schedule job in
        service_account=SERVICE_ACCOUNT (str, None)
            The service account name to set on the pod specs
        priority_class=PRIORITY_CLASS (str, None)
            The name of the PriorityClass to set on the job specs
        image_repo=IMAGE_REPO (str, None)
            (remote jobs) the image repository to use when pushing patched images, must have push access. Ex: example.com/your/container

坐骑

挂载外部文件系统/卷是通过 HostPath 和 PersistentVolumeClaim 支持。

  • hostPath 卷：type=bind,src=<host path>,dst=<container path>[,readonly]

  • PersistentVolumeClaim 中：type=volume,src=<claim>,dst=<container path>[,readonly]

  • host devices：如果您指定主机设备，则作业将在特权模式下运行，因为 Kubernetes 没有公开将 –device 传递给底层的方法 容器运行时。用户应该更喜欢使用设备插件。type=device,src=/dev/foo[,dst=<container path>][,perm=rwm]

看torchx.specs.parse_mounts()了解更多信息。

外部文档：https://kubernetes.io/docs/concepts/storage/persistent-volumes/

资源/分配

要选择特定的计算机类型，您可以向资源添加功能 替换为 this 将约束启动的 jobs 复制到该实例类型的节点。node.kubernetes.io/instance-type

>>> from torchx import specs
>>> specs.Resource(
...     cpu=4,
...     memMB=16000,
...     gpu=2,
...     capabilities={
...         "node.kubernetes.io/instance-type": "<cloud instance type>",
...     },
... )
Resource(...)

Kubernetes 可能会为主机保留一些内存。TorchX 假定你是 在整个主机上进行调度，因此会自动减少资源 请求，以考虑节点预留的 CPU 和内存。 如果您遇到调度问题，则可能需要减少请求的 CPU 和 memory 的值。

兼容性

特征

计划程序支持

获取日志

✔️

分布式作业

✔️

取消作业

✔️

描述任务

部分支持。KubernetesScheduler 将返回 Job 和 Replica 状态，但不提供完整的原始 AppSpec。

工作区 / 修补

✔️

坐骑

✔️

弹性

需求 火山 >1.6
describe（app_id： str） → 可选[DescribeAppResponse][来源]

描述指定的应用程序。

结果

AppDef 描述，或者应用程序不存在。None

list（） → List[ListAppResponse][来源]

对于在调度程序上启动的应用程序，此 API 返回 ListAppResponse 列表 对象，每个对象都有 App ID 及其 Status。 注意：此 API 处于原型阶段，可能会发生更改。

log_iter（app_id： str， role_name： str， k： int = 0， 正则表达式： 可选[str] = 无，因为： 可选[日期时间] = 无，直到：可选[日期时间] = 无，should_tail：bool = False，流： 可选[stream] = None） → Iterable[str][来源]

返回 . 当读取了所有符合条件的 log 行时，迭代器结束。k``th replica of the ``role

如果调度程序支持基于时间的游标获取日志行 对于自定义时间范围，则 ， 字段为 honored，否则将被忽略。未指定 ，相当于获取所有可用的日志行。如果 是 empty，则迭代器的行为类似于 ，跟在日志输出之后 直到作业达到 END 状态。sinceuntilsinceuntiluntiltail -f

构成日志的确切定义特定于计划程序。一些 调度器可能会将 stderr 或 stdout 视为日志，其他人可能会读取日志 从日志文件中。

行为和假设：

  1. 如果在不存在的应用程序上调用，则生成 undefined-behavior 调用方应在调用此方法之前检查应用是否存在 using。exists(app_id)

  2. 不是有状态的，使用相同的参数调用此方法两次 返回一个新的迭代器。先前迭代 进度丢失。

  3. 并不总是支持对数拖尾。并非所有调度程序都支持 live 日志迭代（例如，在应用程序运行时跟踪日志）。指 Iterator 行为的特定 scheduler 文档。

3.1 如果调度器支持 log-tailing，应该对其进行控制

by 参数。should_tail

  1. 不保证日志保留。有可能到这个 方法调用时，底层调度程序可能已经清除了日志记录 对于此应用程序。如果是这样，此方法将引发任意异常。

  2. 如果为 True，则该方法仅引发异常 当可访问的日志行已完全耗尽并且应用程序已达到 最终状态。例如，如果应用程序卡住并且没有产生任何日志行， 然后 iterator 会阻塞，直到应用程序最终被杀死（通过 timeout 或手动），此时它会引发一个 .should_tailStopIterationStopIteration

    如果为 False，则当没有更多日志时，该方法将引发。should_tailStopIteration

  3. 不需要所有调度程序都支持。

  4. 一些调度器可能通过支持 line cursor（例如 寻找第 50 个对数行）。__getitem__iter[50]

  5. 保留空格，每个新行应包含 。自\n

    支持交互式进度条返回的行不需要 include 的 m，但随后应打印时不带换行符 正确处理回车。\n\r

参数

streams – 要选择的 IO 输出流。 其中之一： combined， stdout， stderr. 如果调度程序不支持所选流，它将 throw 一个 ValueError 的 Error。

结果

指定角色副本的 over log linesIterator

提升：

NotImplementedError – 如果调度程序不支持日志迭代

schedule（dryrun_info： AppDryRunInfo[KubernetesJob]） → str[来源]

相同，只是它需要一个 . 鼓励实现者实现此方法，而不是 直接实现 since 可以很简单 实施者：submitAppDryRunInfosubmitsubmit

dryrun_info = self.submit_dryrun(app, cfg)
return schedule(dryrun_info)
torchx.schedulers.kubernetes_scheduler 类。KubernetesJob（images_to_push： Dict[str， Tuple[str， str]]， 资源： Dict[str， object]）[来源]

参考

torchx.schedulers.kubernetes_scheduler。create_scheduler（session_name： str， client： Optional[ApiClient] = None， docker_client： 可选[DockerClient] = None， **kwargs： any） → KubernetesScheduler[来源]
torchx.schedulers.kubernetes_scheduler。app_to_resource（应用：AppDef，队列：str，service_account：可选[str]，priority_class：可选[str] = None） → Dict[str， object]][来源]

app_to_resource 从 提供的 AppDef.资源定义可用于启动 应用程序。

为了支持宏，我们为每个副本生成一个任务，而不是使用 volcano replicas 字段，因为宏会更改 per 副本基础。

Volcano 有两个级别的重试：一个在任务级别，一个在 Job 级别。使用 APPLICATION 重试策略时，作业级别重试 count 设置为角色max_retries的最小值。

torchx.schedulers.kubernetes_scheduler。pod_labels（app： AppDef， role_idx： int， role： Role， replica_id： int， app_id： str） → Dict[str， str][来源]
torchx.schedulers.kubernetes_scheduler。role_to_pod（name： str， role： Role， service_account： 可选[str]） → V1Pod[来源]
torchx.schedulers.kubernetes_scheduler。sanitize_for_serialization（obj： object） → object[来源]

文档

访问 PyTorch 的全面开发人员文档

查看文档

教程

获取面向初学者和高级开发人员的深入教程

查看教程

资源

查找开发资源并解答您的问题

查看资源