本地主机¶
- class torchx.schedulers.local_scheduler.LocalScheduler(session_name: str, cache_size: int = 100)[source]¶
在本地主机上的调度。容器被建模为进程,对于本地主机运行而言不相关或无法强制执行的某些容器属性将被忽略。被忽略的属性包括:
资源要求
资源限制强制措施
重试策略
重试次数(不支持重试)
部署偏好
- ..note:: Use this scheduler sparingly since an application
在使用此调度器支持的会话上运行成功的代码可能无法在实际生产集群上使用不同的调度器工作。
- describe(app_id: str) → Optional[torchx.schedulers.api.DescribeAppResponse][source]¶
描述指定的应用程序。
- Returns
应用程序定义描述或
None如果应用程序不存在。
- log_iter(app_id: str, role_name: str, k: int = 0, regex: Optional[str] = None, since: Optional[datetime.datetime] = None, until: Optional[datetime.datetime] = None, should_tail: bool = False) → Iterable[str][source]¶
返回一个迭代器,用于获取满足条件的日志行。
k``th replica of the ``role。 迭代器在所有符合条件的日志行都被读取后结束。如果调度程序支持基于时间指针获取日志行,则
since,until字段会被遵循,否则会被忽略。不指定since和until相当于获取所有可用的日志行。如果until为空,则迭代器的行为就像tail -f一样,跟随日志输出直到作业达到终端状态。日志的确切定义取决于调度程序的具体设置。有些调度程序可能会将标准错误或标准输出视为日志,而其他调度程序则可能从日志文件中读取日志。
行为和假设:
如果在不存在的应用程序上调用此方法,会产生未定义行为。 调用者应在调用此方法之前使用
exists(app_id)检查应用程序是否存在。不是有状态的,用相同的参数调用此方法两次 会返回一个新的迭代器。之前的迭代 进度会丢失。
不一定始终支持日志追尾功能。并非所有调度器都支持实时日志迭代(例如,在应用程序运行时追尾日志)。有关迭代器的行为,请参阅特定调度器的文档。
- 3.1 If the scheduler supports log-tailing, it should be controlled
by``should_tail``参数。
不保证日志保留。调用此方法时,底层调度程序可能已经清除了该应用程序的日志记录。如果是这样的话,此方法将引发任意异常。
如果
should_tail为 True,该方法仅在可访问的日志行已完全耗尽且应用程序达到最终状态时抛出StopIteration异常。 例如,如果应用程序卡住且没有生成任何日志行,则迭代器会阻塞直到应用程序最终被终止(通过超时或手动操作),此时它会抛出一个StopIteration异常。如果
should_tail是 False,该方法在没有更多日志时抛出StopIteration。不一定由所有调度器支持。
某些调度器可能通过支持
__getitem__(例如,iter[50]寻找第 50 行日志)来支持行光标。
- Returns
一个指定角色副本的日志行上的
Iterator- Raises
NotImplementedError - 如果调度器不支持日志迭代 –
- run_opts() → torchx.specs.api.runopts[source]¶
返回调度程序所期望的运行配置选项。 基本上是
--help的runAPI。
图像提供者¶
- class torchx.schedulers.local_scheduler.ImageProvider[source]¶
管理本地主机上的下载和设置。这仅在
LocalhostScheduler时需要,因为通常调度器会为用户自动完成此操作。
- class torchx.schedulers.local_scheduler.LocalDirectoryImageProvider(cfg: torchx.specs.api.RunConfig)[source]¶
将图像名称解释为本地主机上的目录路径。不会“获取”(例如下载)任何内容。与
LocalScheduler结合使用以运行本地二进制文件。图像名称必须是绝对路径,并且必须存在。
Example:
fetch(Image(name="/tmp/foobar"))返回/tmp/foobarfetch(Image(name="foobar"))的ValueError次方fetch(Image(name="/tmp/dir/that/does/not_exist"))的ValueError次方