torchx.schedulers

TorchX Schedulers 为现有 Schedulers 定义插件。与 runner 一起使用时，它们将组件作为作业提交到 相应的 scheduler 后端。TorchX 支持一些开箱即用的计划程序。您可以通过实施 ..py：class：：torchx.schedulers 并在 EntryPoint 中注册它。

所有调度程序

• AWS 批处理
• AWS SageMaker
• 码头工人
• GCP 批处理
• Kubernetes （简体中文）
• Kubernetes MCAD
• 当地
• IBM Spectrum LSF
• 射线
• Slurm

调度程序函数

torchx.schedulers 的get_scheduler_factories（） → Dict[str， SchedulerFactory]

get_scheduler_factories 返回所有可用的调度程序名称和 方法实例化它们。

字典中的第一个调度器用作默认调度器。

torchx.schedulers 的get_default_scheduler_name（） → str

default_scheduler_name 返回 get_scheduler_factories。

调度程序类

类 torchx.schedulers 中。调度器（backend： str， session_name： str）

一个抽象 scheduler 功能的接口。 实现者只需实现那些用 .@abc.abstractmethod

cancel（app_id： str） → None

取消/终止应用程序。此方法在同一个 线程，并且可以安全地多次调用同一应用程序。 但是，当从同一应用程序上的多个线程/进程调用 此方法的确切语义取决于幂等性保证 底层调度程序 API 的 API 中。

注意

此方法不会阻止应用程序访问 cancelled 状态。要确保应用程序达到 终端状态使用 API。wait

close（） → None

仅适用于具有本地状态的调度器！关闭调度程序 释放任何已分配的资源。关闭后，scheduler 对象 被视为不再有效，并且对对象调用的任何方法 导致未定义的行为。

此方法不应引发异常，并且允许调用 对同一对象进行多次作。

注意

仅对具有本地状态的调度程序实现进行覆盖 (). Scheduler 只需包装远程 scheduler 的 Client 端就不需要 实现此方法。torchx/schedulers/local_scheduler.py

abstract describe（app_id： str） → 可选[DescribeAppResponse]

描述指定的应用程序。

结果

AppDef 描述，或者应用程序不存在。None

exists（app_id： str） → bool

结果

True如果应用程序存在（已提交），否则False

抽象列表（）→列表[ListAppResponse]

对于在调度程序上启动的应用程序，此 API 返回 ListAppResponse 列表 对象，每个对象都有 App ID 及其 Status。 注意：此 API 处于原型阶段，可能会发生更改。

log_iter（app_id： str， role_name： str， k： int = 0， 正则表达式： 可选[str] = 无，因为： 可选[日期时间] = 无，直到：可选[日期时间] = 无，should_tail：bool = False，流： 可选[stream] = None） → Iterable[str]

返回 . 当读取了所有符合条件的 log 行时，迭代器结束。k``th replica of the ``role

如果调度程序支持基于时间的游标获取日志行 对于自定义时间范围，则 ， 字段为 honored，否则将被忽略。未指定 ，相当于获取所有可用的日志行。如果 是 empty，则迭代器的行为类似于 ，跟在日志输出之后 直到作业达到 END 状态。sinceuntilsinceuntiluntiltail -f

构成日志的确切定义特定于计划程序。一些 调度器可能会将 stderr 或 stdout 视为日志，其他人可能会读取日志 从日志文件中。

行为和假设：

1. 如果在不存在的应用程序上调用，则生成 undefined-behavior 调用方应在调用此方法之前检查应用是否存在 using。exists(app_id)

2. 不是有状态的，使用相同的参数调用此方法两次 返回一个新的迭代器。先前迭代 进度丢失。

3. 并不总是支持对数拖尾。并非所有调度程序都支持 live 日志迭代（例如，在应用程序运行时跟踪日志）。指 Iterator 行为的特定 scheduler 文档。

3.1 如果调度器支持 log-tailing，应该对其进行控制

by 参数。should_tail

4. 不保证日志保留。有可能到这个 方法调用时，底层调度程序可能已经清除了日志记录 对于此应用程序。如果是这样，此方法将引发任意异常。

5. 如果为 True，则该方法仅引发异常 当可访问的日志行已完全耗尽并且应用程序已达到 最终状态。例如，如果应用程序卡住并且没有产生任何日志行， 然后 iterator 会阻塞，直到应用程序最终被杀死（通过 timeout 或手动），此时它会引发一个 .should_tailStopIterationStopIteration

   如果为 False，则当没有更多日志时，该方法将引发。should_tailStopIteration

6. 不需要所有调度程序都支持。

7. 一些调度器可能通过支持 line cursor（例如 寻找第 50 个对数行）。__getitem__iter[50]

8. 保留空格，每个新行应包含 。自\n

   支持交互式进度条返回的行不需要 include 的 m，但随后应打印时不带换行符 正确处理回车。\n\r

参数

streams – 要选择的 IO 输出流。 其中之一： combined， stdout， stderr. 如果调度程序不支持所选流，它将 throw 一个 ValueError 的 Error。

结果

指定角色副本的 over log linesIterator

提升：

NotImplementedError – 如果调度程序不支持日志迭代

run_opts（） → runopts

返回计划程序所需的运行配置选项。 基本上是 API 的。--helprun

摘要 schedule（dryrun_info： AppDryRunInfo） → str

相同，只是它需要一个 . 鼓励实现者实现此方法，而不是 直接实现 since 可以很简单 实施者：submitAppDryRunInfosubmitsubmit

dryrun_info = self.submit_dryrun(app, cfg)
return schedule(dryrun_info)

submit（app： AppDef， cfg： T， workspace： Optional[str] = 无） → str

提交计划程序运行的应用程序。

警告： 主要用于测试。用户应该更喜欢使用 TorchX 运行程序。

结果

唯一标识已提交应用程序的应用程序 ID。

submit_dryrun（app： AppDef， cfg： T） → AppDryRunInfo

而不是提交运行应用程序的请求，而是返回 request 对象，该对象本应提交到底层 服务。请求对象的类型取决于计划程序。 此方法可用于试运行应用程序。请参考 到 Scheduler 实现的文档，关于 实际的返回类型。

类 torchx.schedulers 中。SchedulerFactory（*args， **kwargs）

类 torchx.schedulers.api 中。DescribeAppResponse（app_id： str = '<NOT_SET>'， state： ~torchx.specs.api.AppState = AppState.UNSUBMITTED， num_restarts： int = -1， msg： str = '<NONE>'， structured_error_msg： str = '<NONE>'， ui_url： ~typing.可选 [str] = None，roles_statuses： ~typing。列表[~torchx.specs.api.RoleStatus] = <factory>， roles： ~typing。列表[~torchx.specs.api.Role] = <factory>）

API 返回的 Response 对象。包含 调度程序已知的应用程序的状态和描述。 对于某些 schedulers 实现，此响应对象具有必要的 以及重新创建对象的足够信息。对于这些类型 的调度程序，用户可以重新调用应用程序。否则 用户只能调用非创建方法（例如 、 、 等）。Scheduler.describe(app)AppDefrun()wait()status()

由于这个类是一个数据类并且包含许多成员变量，因此 保持使用简单，并提供 no-args 构造函数，并选择 直接访问 member vars，而不是提供访问器。

如果 scheduler 返回任意消息，则应填充该字段。 如果 scheduler 返回结构化 json，则应填充该字段。msgstructured_error_msg

类 torchx.schedulers.api 中。ListAppResponse（app_id： str， state： AppState， app_handle： str = '<NOT_SET>'）

响应对象。 包含应用程序app_id、app_handle和状态。 App ID ：标识在计划程序上提交的应用程序的唯一标识符 应用程序句柄：使用 torchx 以 url 格式运行的应用程序的标识符，例如 {scheduler_backend}：//{session_name}/{app_id}，它由 Runner 创建 当它在 Scheduler 上提交作业时。已填写 ListAppResponse 中的句柄信息 在 由 .此句柄可用于进一步描述应用 使用 torchx CLI 或 torchx runner 实例。scheduler.list()runner.list()runner.list()

由于这个类是一个带有一些成员变量的数据类，我们保留了 simple 并选择直接访问成员 vars，而不是提供访问器。