torchx.schedulers¶
TorchX Schedulers 为现有 Schedulers 定义插件。与 runner 一起使用时,它们将组件作为作业提交到 相应的 scheduler 后端。TorchX 支持一些开箱即用的计划程序。您可以通过实施 ..py:class::torchx.schedulers 并在 EntryPoint 中注册它。

所有调度程序¶
调度程序函数¶
- torchx.schedulers 的get_schedulers(session_name: str, **scheduler_params: 对象) Dict[str, 调度器] [来源]¶
get_schedulers 返回所有可用的调度程序。
- torchx.schedulers 的get_scheduler_factories() Dict[str, SchedulerFactory] [来源]¶
get_scheduler_factories 返回所有可用的调度程序名称和 方法实例化它们。
字典中的第一个调度器用作默认调度器。
调度程序类¶
- 类 torchx.schedulers 中。调度器(backend: str, session_name: str)[来源]¶
一个抽象 scheduler 功能的接口。 实现者只需实现那些带有 .
@abc.abstractmethod
- cancel(app_id: str) None [来源]¶
取消/终止应用程序。此方法在同一个 线程,并且可以安全地多次调用同一应用程序。 但是,当从同一应用程序上的多个线程/进程调用 此方法的确切语义取决于幂等性保证 底层调度程序 API 的 API 中。
注意
此方法不会阻止应用程序访问 cancelled 状态。要确保应用程序达到 终端状态使用 API。
wait
- close() None [来源]¶
仅适用于具有本地状态的调度器!关闭调度程序 释放任何已分配的资源。关闭后,scheduler 对象 被视为不再有效,并且对对象调用的任何方法 导致未定义的行为。
此方法不应引发异常,并且允许调用 对同一对象进行多次作。
注意
仅对具有本地状态的调度程序实现进行覆盖 (). Scheduler 只需包装远程 scheduler 的 Client 端就不需要 实现此方法。
torchx/schedulers/local_scheduler.py
- log_iter(app_id: str, role_name: str, k: int = 0, 正则表达式: 可选[str] = 无,因为: 可选[日期时间] = 无,直到:可选[日期时间] = 无,should_tail:bool = False,流: 可选[stream] = None) Iterable[str] [来源]¶
返回 . 迭代器 ends end 所有符合条件的日志行都已读取。
k``th replica of the ``role
如果调度程序支持基于时间的游标获取日志行 对于自定义时间范围,则 , 字段为 honored,否则将被忽略。未指定 ,相当于获取所有可用的日志行。如果 是 empty,则迭代器的行为类似于 ,跟在日志输出之后 直到作业达到 END 状态。
since
until
since
until
until
tail -f
构成日志的确切定义特定于计划程序。一些 调度器可能会将 stderr 或 stdout 视为日志,其他人可能会读取日志 从日志文件中。
行为和假设:
如果在不存在的应用程序上调用,则生成 undefined-behavior 调用方应在调用此方法之前检查应用是否存在 using。
exists(app_id)
不是有状态的,使用相同的参数调用此方法两次 返回一个新的迭代器。先前迭代 进度丢失。
并不总是支持对数拖尾。并非所有调度程序都支持 live 日志迭代(例如,在应用程序运行时跟踪日志)。指 Iterator 行为的特定 scheduler 文档。
- 3.1 如果调度器支持 log-tailing,应该对其进行控制
by''should_tail'' 参数。
不保证日志保留。有可能到这个 方法调用时,底层调度程序可能已经清除了日志记录 对于此应用程序。如果是这样,此方法将引发任意异常。
如果为 True,则该方法仅引发异常 当可访问的日志行已完全耗尽并且应用程序已达到 最终状态。例如,如果应用程序卡住并且没有产生任何日志行, 然后 iterator 会阻塞,直到应用程序最终被杀死(通过 timeout 或手动),此时它会引发 .
should_tail
StopIteration
StopIteration
如果为 False,则当没有更多日志时,该方法将引发。
should_tail
StopIteration
不需要所有调度程序都支持。
一些调度器可能通过支持 line cursor(例如 寻找第 50 个对数行)。
__getitem__
iter[50]
- 保留空格,每个新行应包含 。自
\n
支持交互式进度条返回的行不需要 include 的 m,但随后应打印时不带换行符 正确处理回车。
\n
\r
- 保留空格,每个新行应包含 。自
- 参数
streams – 要选择的 IO 输出流。 其中之一: combined, stdout, stderr. 如果调度程序不支持所选流,它将 throw 一个 ValueError 的 Error。
- 结果
指定角色副本的 over log lines
Iterator
- 提升:
NotImplementedError – 如果调度程序不支持日志迭代
- 摘要 schedule(dryrun_info: AppDryRunInfo) str [来源]¶
相同,只是它需要一个 . 鼓励实现者实现此方法,而不是 直接实现 since 可以很简单 实施者:
submit
AppDryRunInfo
submit
submit
dryrun_info = self.submit_dryrun(app, cfg) return schedule(dryrun_info)