Kubernetes MCAD¶

它包含可用于运行 TorchX 的 TorchX Kubernetes_MCAD调度器组件。

先决条件¶

TorchX Kubernetes_MCAD调度器依赖于 AppWrapper + MCAD。

安装 MCAD：请参阅部署 Multi-Cluster-Application-Dispatcher 指南 https://github.com/project-codeflare/multi-cluster-app-dispatcher/blob/main/doc/deploy/deployment.md

此实现需要 MCAD v1.34.1 或更高版本。

TorchX 使用 torch.distributed.run 来运行分布式训练。

了解有关运行分布式训练程序的更多信息torchx.components.dist

torchx.schedulers.kubernetes_mcad_scheduler 类。KubernetesMCADScheduler（session_name： str， client： Optional[ApiClient] = None， docker_client：可选[DockerClient] = None）[来源]¶

基地：DockerWorkspaceMixin,Scheduler[KubernetesMCADOpts]

KubernetesMCADScheduler 是 Kubernetes 的 TorchX 调度接口。

重要提示：需要在 Kubernetes 集群上安装 AppWrapper/MCAD。 TorchX 需要 gang 调度才能执行多副本 / 多角色。请注意，AppWrapper/MCAD 支持 Kubernetes 上任何应用程序包装作业之间的 gang 调度。但是，为了实现真正的帮派调度，AppWrapper/MCAD 需要与其他 Kubernetes 一起使用 co-scheduler 的有关安装说明，请参阅：https://github.com/project-codeflare/multi-cluster-app-dispatcher/blob/main/doc/deploy/deployment.md

这已被确认适用于 MCAD 主分支 v1.34.1 或更高版本以及 OpenShift Kubernetes 客户端版本：4.10.13 服务器版本：4.9.18 Kubernetes 版本：v1.22.3+e790d7f

$ torchx run --scheduler kubernetes_mcad --scheduler_args namespace=default,image_repo=<your_image_repo> utils.echo --image alpine:latest --msg hello
...

TorchX-MCAD 调度器可以与 Kubernetes 上的辅助调度器一起使用。要启用此功能，用户必须提供协同调度程序的名称。使用此功能，为每个 TorchX 角色和 coscheduler 定义一个 PodGroup 处理 Kubernetes 集群上的辅助调度。有关其他资源，请参阅： 1. PodGroups 和 Coscheduling： https://github.com/kubernetes-sigs/scheduler-plugins/tree/release-1.24/pkg/coscheduling 2.安装 Secondary 调度程序：https://github.com/kubernetes-sigs/scheduler-plugins/blob/release-1.24/doc/install.md 3.PodGroup CRD：https://github.com/kubernetes-sigs/scheduler-plugins/blob/release-1.24/config/crd/bases/scheduling.sigs.k8s.io_podgroups.yaml

MCAD 调度程序支持具有 PriorityClass 定义的集群上的 AppWrapper 级别和 Pod 级别的可选优先级。在 AppWrapper 级别，整数值越高意味着优先级越高。Kubernetes 集群可能具有额外的 priorityClass 可以在 Pod 级别应用的定义。虽然这些不同级别的优先级可以独立设置，建议咨询您的 Kubernetes 集群管理员，了解是否有其他指导。有关 Kubernetes 的更多信息 PriorityClass 中，请参阅： https://kubernetes.io/docs/concepts/scheduling-eviction/pod-priority-preemption/ 。

要使用 network 选项，Kubernetes 集群必须安装 multus。有关 multus 安装说明以及如何设置网络自定义网络附件定义，请参阅：https://github.com/k8snetworkplumbingwg/multus-cni/blob/master/docs/how-to-use.md

配置选项

    usage:
        [namespace=NAMESPACE],[image_repo=IMAGE_REPO],[service_account=SERVICE_ACCOUNT],[priority=PRIORITY],[priority_class_name=PRIORITY_CLASS_NAME],[image_secret=IMAGE_SECRET],[coscheduler_name=COSCHEDULER_NAME],[network=NETWORK]

    optional arguments:
        namespace=NAMESPACE (str, default)
            Kubernetes namespace to schedule job in
        image_repo=IMAGE_REPO (str, None)
            The image repository to use when pushing patched images, must have push access. Ex: example.com/your/container
        service_account=SERVICE_ACCOUNT (str, None)
            The service account name to set on the pod specs
        priority=PRIORITY (int, None)
            The priority level to set on the job specs. Higher integer value means higher priority
        priority_class_name=PRIORITY_CLASS_NAME (str, None)
            Pod specific priority level. Check with your Kubernetes cluster admin if Priority classes are defined on your system
        image_secret=IMAGE_SECRET (str, None)
            The name of the Kubernetes/OpenShift secret set up for private images
        coscheduler_name=COSCHEDULER_NAME (str, None)
            Option to run TorchX-MCAD with a co-scheduler. User must provide the co-scheduler name.
        network=NETWORK (str, None)
            Name of additional pod-to-pod network beyond default Kubernetes network

坐骑

挂载外部文件系统/卷是通过 HostPath 和 PersistentVolumeClaim 支持。

hostPath 卷：type=bind,src=<host path>,dst=<container path>[,readonly]
PersistentVolumeClaim 中：type=volume,src=<claim>,dst=<container path>[,readonly]
host devices：如果您指定主机设备，则作业将在特权模式下运行，因为 Kubernetes 没有公开将 –device 传递给底层的方法容器运行时。用户应该更喜欢使用设备插件。type=device,src=/dev/foo[,dst=<container path>][,perm=rwm]

看torchx.specs.parse_mounts()了解更多信息。

外部文档：https://kubernetes.io/docs/concepts/storage/persistent-volumes/

资源/分配

要选择特定的计算机类型，您可以向资源添加功能替换为 this 将约束启动的 jobs 复制到该实例类型的节点。node.kubernetes.io/instance-type

>>> from torchx import specs
>>> specs.Resource(
...     cpu=4,
...     memMB=16000,
...     gpu=2,
...     capabilities={
...         "node.kubernetes.io/instance-type": "<cloud instance type>",
...     },
... )
Resource(...)

Kubernetes 可能会为主机保留一些内存。TorchX 假定你是在整个主机上进行调度，因此会自动减少资源请求，以考虑节点预留的 CPU 和内存。如果您遇到调度问题，则可能需要减少请求的 CPU 和 memory 的值。

兼容性

特征	计划程序支持
获取日志	✔️
分布式作业	✔️
取消作业	✔️
描述任务	✔️
工作区 / 修补	✔️
坐骑	✔️
弹性	❌

describe（app_id： str） → 可选[DescribeAppResponse][来源]¶

描述指定的应用程序。

结果: AppDef 描述，或者应用程序不存在。None

list（） → List[ListAppResponse][来源]¶: 对于在调度程序上启动的应用程序，此 API 返回 ListAppResponse 列表对象，每个对象都有 App ID 及其 Status。注意：此 API 处于原型阶段，可能会发生更改。

log_iter（app_id： str， role_name： str， k： int = 0， 正则表达式：可选[str] = 无，因为：可选[日期时间] = 无，直到：可选[日期时间] = 无，should_tail：bool = False，流：可选[stream] = None） → Iterable[str][来源]¶

返回 . 当读取了所有符合条件的 log 行时，迭代器结束。k``th replica of the ``role

如果调度程序支持基于时间的游标获取日志行对于自定义时间范围，则，字段为 honored，否则将被忽略。未指定，相当于获取所有可用的日志行。如果是 empty，则迭代器的行为类似于，跟在日志输出之后直到作业达到 END 状态。sinceuntilsinceuntiluntiltail -f

构成日志的确切定义特定于计划程序。一些调度器可能会将 stderr 或 stdout 视为日志，其他人可能会读取日志从日志文件中。

行为和假设：

如果在不存在的应用程序上调用，则生成 undefined-behavior 调用方应在调用此方法之前检查应用是否存在 using。exists(app_id)
不是有状态的，使用相同的参数调用此方法两次返回一个新的迭代器。先前迭代进度丢失。
并不总是支持对数拖尾。并非所有调度程序都支持 live 日志迭代（例如，在应用程序运行时跟踪日志）。指 Iterator 行为的特定 scheduler 文档。

3.1 如果调度器支持 log-tailing，应该对其进行控制: by 参数。should_tail

不保证日志保留。有可能到这个方法调用时，底层调度程序可能已经清除了日志记录对于此应用程序。如果是这样，此方法将引发任意异常。
如果为 True，则该方法仅引发异常当可访问的日志行已完全耗尽并且应用程序已达到最终状态。例如，如果应用程序卡住并且没有产生任何日志行，然后 iterator 会阻塞，直到应用程序最终被杀死（通过 timeout 或手动），此时它会引发一个 .should_tailStopIterationStopIteration

如果为 False，则当没有更多日志时，该方法将引发。should_tailStopIteration
不需要所有调度程序都支持。
一些调度器可能通过支持 line cursor（例如寻找第 50 个对数行）。__getitem__iter[50]
保留空格，每个新行应包含。自\n
支持交互式进度条返回的行不需要 include 的 m，但随后应打印时不带换行符正确处理回车。\n\r

参数: streams – 要选择的 IO 输出流。其中之一： combined， stdout， stderr. 如果调度程序不支持所选流，它将 throw 一个 ValueError 的 Error。
结果: 指定角色副本的 over log linesIterator
提升：: NotImplementedError – 如果调度程序不支持日志迭代

run_opts（） → runopts[来源]¶: 返回计划程序所需的运行配置选项。基本上是 API 的。--helprun

schedule（dryrun_info： AppDryRunInfo[KubernetesMCADJob]） → str[来源]¶

相同，只是它需要一个 . 鼓励实现者实现此方法，而不是直接实现 since 可以很简单实施者：submitAppDryRunInfosubmitsubmit

dryrun_info = self.submit_dryrun(app, cfg)
return schedule(dryrun_info)

torchx.schedulers.kubernetes_mcad_scheduler 类。KubernetesMCADJob（images_to_push： Dict[str， Tuple[str， str]]， 资源： Dict[str， object]）[来源]¶

参考¶

torchx.schedulers.kubernetes_mcad_scheduler。create_scheduler（session_name： str， client： Optional[ApiClient] = None， docker_client：可选[DockerClient] = None， **kwargs： Any） → KubernetesMCADScheduler[来源]¶

torchx.schedulers.kubernetes_mcad_scheduler。app_to_resource（app： AppDef， namespace： str， service_account： Optional[str]、 image_secret ：可选 [str]、 coscheduler_name ：可选 [str]、 priority_class_name：可选 [str]， 网络：可选 [str]， 优先级：可选[int] = None） → Dict[str， Any][来源]¶

app_to_resource 从 AppWrapper/MCAD Kubernetes 资源定义中创建 AppWrapper/MCAD Kubernetes 资源定义提供的 AppDef.资源定义可用于启动应用程序。

MCAD 支持 APPLICATION 级别的重试。在多个 TorchX 角色的情况下， AppWrapper 最大重试次数 count 设置为角色max_retries的最小值。

torchx.schedulers.kubernetes_mcad_scheduler。mcad_svc（app： AppDef， svc_name： str， namespace： str， service_port： str） → V1Service[来源]¶

torchx.schedulers.kubernetes_mcad_scheduler。get_appwrapper_status（app： Dict[str， str]） → AppState[来源]¶

torchx.schedulers.kubernetes_mcad_scheduler。get_port_for_service（应用程序：AppDef） → str[来源]¶

torchx.schedulers.kubernetes_mcad_scheduler。get_role_information（generic_items： Iterable[Dict[str， any]]） → Dict[str， Any][来源]¶

torchx.schedulers.kubernetes_mcad_scheduler。get_tasks_status_description（状态： Dict[str， str]） → Dict[str， int][来源]¶

torchx.schedulers.kubernetes_mcad_scheduler。pod_labels（app： AppDef， role_idx： int， role： Role， replica_id： int、coscheduler_name：可选 [str]、app_id：str） → Dict[str， str][来源]¶

torchx.schedulers.kubernetes_mcad_scheduler。role_to_pod（名称： str， unique_app_id： str， 命名空间： str， 角色：角色，service_account：可选[str]，image_secret：可选[str]， coscheduler_name：可选[str]， priority_class_name：可选[str]， 网络：可选[str]） → V1Pod[来源]¶

torchx.schedulers.kubernetes_mcad_scheduler。sanitize_for_serialization（obj： object） → object[来源]¶

Kubernetes MCAD¶

先决条件¶

参考¶

文档

教程

资源