目录

本地主机

class torchx.schedulers.local_scheduler.LocalScheduler(session_name: str, cache_size: int = 100)[source]

在本地主机上的调度。容器被建模为进程,对于本地主机运行而言不相关或无法强制执行的某些容器属性将被忽略。被忽略的属性包括:

  1. 资源要求

  2. 资源限制强制措施

  3. 重试策略

  4. 重试次数(不支持重试)

  5. 部署偏好

..note:: Use this scheduler sparingly since an application

在使用此调度器支持的会话上运行成功的代码可能无法在实际生产集群上使用不同的调度器工作。

describe(app_id: str)Optional[torchx.schedulers.api.DescribeAppResponse][source]

描述指定的应用程序。

Returns

应用程序定义描述或 None 如果应用程序不存在。

log_iter(app_id: str, role_name: str, k: int = 0, regex: Optional[str] = None, since: Optional[datetime.datetime] = None, until: Optional[datetime.datetime] = None, should_tail: bool = False)Iterable[str][source]

返回一个迭代器,用于获取满足条件的日志行。k``th replica of the ``role。 迭代器在所有符合条件的日志行都被读取后结束。

如果调度程序支持基于时间指针获取日志行,则sinceuntil字段会被遵循,否则会被忽略。不指定sinceuntil相当于获取所有可用的日志行。如果until为空,则迭代器的行为就像tail -f一样,跟随日志输出直到作业达到终端状态。

日志的确切定义取决于调度程序的具体设置。有些调度程序可能会将标准错误或标准输出视为日志,而其他调度程序则可能从日志文件中读取日志。

行为和假设:

  1. 如果在不存在的应用程序上调用此方法,会产生未定义行为。 调用者应在调用此方法之前使用exists(app_id)检查应用程序是否存在。

  2. 不是有状态的,用相同的参数调用此方法两次 会返回一个新的迭代器。之前的迭代 进度会丢失。

  3. 不一定始终支持日志追尾功能。并非所有调度器都支持实时日志迭代(例如,在应用程序运行时追尾日志)。有关迭代器的行为,请参阅特定调度器的文档。

3.1 If the scheduler supports log-tailing, it should be controlled

by``should_tail``参数。

  1. 不保证日志保留。调用此方法时,底层调度程序可能已经清除了该应用程序的日志记录。如果是这样的话,此方法将引发任意异常。

  2. 如果 should_tail 为 True,该方法仅在可访问的日志行已完全耗尽且应用程序达到最终状态时抛出 StopIteration 异常。 例如,如果应用程序卡住且没有生成任何日志行,则迭代器会阻塞直到应用程序最终被终止(通过超时或手动操作),此时它会抛出一个 StopIteration 异常。

    如果 should_tail 是 False,该方法在没有更多日志时抛出 StopIteration

  3. 不一定由所有调度器支持。

  4. 某些调度器可能通过支持 __getitem__ (例如,iter[50] 寻找第 50 行日志)来支持行光标。

Returns

一个指定角色副本的日志行上的 Iterator

Raises

NotImplementedError - 如果调度器不支持日志迭代

run_opts()torchx.specs.api.runopts[source]

返回调度程序所期望的运行配置选项。 基本上是--helprun API。

schedule(dryrun_info: torchx.specs.api.AppDryRunInfo[torchx.schedulers.local_scheduler.PopenRequest])str[source]

submit 相同,但接受一个 AppDryRunInfo。 建议实现者实现此方法而不是直接实现 submit,因为 submit 可以通过以下方式简单地实现:

dryrun_info = self.submit_dryrun(app, cfg)
return schedule(dryrun_info)

图像提供者

class torchx.schedulers.local_scheduler.ImageProvider[source]

管理本地主机上的下载和设置。这仅在LocalhostScheduler时需要,因为通常调度器会为用户自动完成此操作。

abstract fetch(image: str)str[source]

拉取给定的图像,并返回本地主机上拉取图像的路径。

abstract get_command(image: str, args: List[str], env_vars: Dict[str, str])List[str][source]

返回运行指定图像所需的命令行。

class torchx.schedulers.local_scheduler.LocalDirectoryImageProvider(cfg: torchx.specs.api.RunConfig)[source]

将图像名称解释为本地主机上的目录路径。不会“获取”(例如下载)任何内容。与LocalScheduler结合使用以运行本地二进制文件。

图像名称必须是绝对路径,并且必须存在。

Example:

  1. fetch(Image(name="/tmp/foobar")) 返回 /tmp/foobar

  2. fetch(Image(name="foobar"))ValueError 次方

  3. fetch(Image(name="/tmp/dir/that/does/not_exist"))ValueError 次方

fetch(image: str)str[source]
Raises

ValueError - 如果图像名称不是绝对目录 – 并且如果它不存在或不是一个目录

get_command(image: str, args: List[str], env_vars: Dict[str, str])List[str][source]

返回运行指定图像所需的命令行。

文档

访问 PyTorch 的全面开发人员文档

查看文档

教程

获取面向初学者和高级开发人员的深入教程

查看教程

资源

查找开发资源并解答您的问题

查看资源