目录

本地主机

torchx.schedulers.local_scheduler 类LocalSchedulersession_name: strimage_provider_class Callable[[torchx.specs.api.RunConfig] torchx.schedulers.local_scheduler.ImageProvider]cache_size:int = 100[来源]

在 localhost 上调度。容器被建模为进程和 容器的某些不相关的属性 或者无法对 localhost 强制执行 runs。被忽略的属性:

  1. 资源要求

  2. 资源限制实施

  3. 重试策略

  4. 重试计数(不支持重试)

  5. 部署首选项

调度器支持在接收 SIGTERM 或 SIGINT 时进行孤立进程清理。 调度程序将终止生成的进程。

这是通过调度程序 local_cwdlocal_docker 公开的。

  • local_docker 使用 AppDef 中指定的图像。必须安装 Docker。这 提供最接近本机使用 Docker 的调度程序的环境 例如 Kubernetes。

  • local_cwd 相对于当前工作运行 目录下,并忽略 images 字段以加快迭代和测试速度 目的。

注意

孤立项清理仅在从主线程实例化 LocalScheduler 时起作用。

注意

请谨慎使用此调度程序,因为应用程序已成功运行 在由此调度程序支持的会话中,可能无法在实际的 生产集群。

特征

计划程序支持

获取日志

✔️

分布式作业

LocalScheduler 支持多个副本,但所有副本都将 在本地主机上执行。

取消作业

✔️

描述任务

✔️

close) → None[来源]

仅适用于具有本地状态的调度器!关闭调度程序 释放任何已分配的资源。关闭后,scheduler 对象 被视为不再有效,并且对对象调用的任何方法 导致未定义的行为。

此方法不应引发异常,并且允许调用 对同一对象进行多次作。

注意

仅对具有本地状态的调度程序实现进行覆盖 (). Scheduler 只需包装远程 scheduler 的 Client 端就不需要 实现此方法。torchx/schedulers/local_scheduler.py

describeapp_id: str可选[torchx.schedulers.api.DescribeAppResponse][来源]

描述指定的应用程序。

返回

AppDef 描述,或者应用程序不存在。None

log_iterapp_id strrole_name: strk int = 0regex 可选[str] = 因为可选[datetime.datetime] = 直到可选[datetime.datetime] = Noneshould_tail: bool = FalseIterable[str][来源]

返回 . 迭代器 ends end 所有符合条件的日志行都已读取。k``th replica of the ``role

如果调度程序支持基于时间的游标获取日志行 对于自定义时间范围,则 , 字段为 honored,否则将被忽略。未指定 ,相当于获取所有可用的日志行。如果 是 empty,则迭代器的行为类似于 ,跟在日志输出之后 直到作业达到 END 状态。sinceuntilsinceuntiluntiltail -f

构成日志的确切定义特定于计划程序。一些 调度器可能会将 stderr 或 stdout 视为日志,其他人可能会读取日志 从日志文件中。

行为和假设:

  1. 如果在不存在的应用程序上调用,则生成 undefined-behavior 调用方应在调用此方法之前检查应用是否存在 using。exists(app_id)

  2. 不是有状态的,使用相同的参数调用此方法两次 返回一个新的迭代器。先前迭代 进度丢失。

  3. 并不总是支持对数拖尾。并非所有调度程序都支持 live 日志迭代(例如,在应用程序运行时跟踪日志)。指 Iterator 行为的特定 scheduler 文档。

3.1 如果调度器支持 log-tailing,应该对其进行控制

by''should_tail'' 参数。

  1. 不保证日志保留。有可能到这个 方法调用时,底层调度程序可能已经清除了日志记录 对于此应用程序。如果是这样,此方法将引发任意异常。

  2. 如果为 True,则该方法仅引发异常 当可访问的日志行已完全耗尽并且应用程序已达到 最终状态。例如,如果应用程序卡住并且没有产生任何日志行, 然后 iterator 会阻塞,直到应用程序最终被杀死(通过 timeout 或手动),此时它会引发一个 .should_tailStopIterationStopIteration

    如果为 False,则当没有更多日志时,该方法将引发。should_tailStopIteration

  3. 不需要所有调度程序都支持。

  4. 一些调度器可能通过支持 line cursor(例如 寻找第 50 个对数行)。__getitem__iter[50]

返回

指定角色副本的 over log linesIterator

提高

NotImplementedError - 如果调度程序不支持日志迭代 -

run_optstorchx.specs.api.runopts[来源]

返回计划程序所需的运行配置选项。 基本上是 API 的。--helprun

scheduledryrun_info 的 - torchx.schedulers.local_scheduler.PopenRequest]str[来源]

相同,只是它需要一个 . 鼓励实现者实现此方法,而不是 直接实现 since 可以很简单 实施者:submitAppDryRunInfosubmitsubmit

dryrun_info = self.submit_dryrun(app, cfg)
return schedule(dryrun_info)

图像提供程序

torchx.schedulers.local_scheduler 类ImageProvider[来源]

管理下载和设置 on localhost。这仅在 b2 中是必需的,因为通常真正的调度程序会执行此作 代表用户。LocalhostScheduler

抽象 fetch图片strstr[来源]

拉取给定的图像并返回拉取的图像的路径 本地主机或空字符串(如果没有 OP)

get_cwd图片str可选[str][来源]

返回已挂载的 img 目录的绝对路径。用作工作 目录中启动子进程。

get_entrypointimg_root: str角色 torchx.specs.api.Rolestr[来源]

返回入口点的位置。

get_replica_paramimg_root: str角色 torchx.specs.api.Rolestdout 可选[str] = Nonestderr Optional[str] = None) → torchx.schedulers.local_scheduler。ReplicaParam[来源]

给定角色 replica 的 specs returns holder 其中包含最终要传递给的参数,以实际调用和运行每个角色的副本。预计 为 的返回值。 由于角色的镜像只需要获取一次(不是每个副本) 调用方应为每个角色调用一次方法 并为每个 .ReplicaParamsubprocess.Popenimg_rootself.fetch(role.image)fetchrole.num_replicas

torchx.schedulers.local_scheduler 类DockerImageProvidercfg torchx.specs.api.RunConfig[来源]

调用 docker CLI 以提取并运行指定的映像。

fetch(Image(name="pytorch/pytorch:latest"))拉取 Docker 镜像,返回 “” returnget_command(image="pytorch/pytorch:latest", ..)docker run ...

fetch图片strstr[来源]

拉取给定的图像并返回拉取的图像的路径 本地主机或空字符串(如果没有 OP)

get_replica_paramimg_root: str角色 torchx.specs.api.Rolestdout 可选[str] = Nonestderr Optional[str] = None) → torchx.schedulers.local_scheduler。ReplicaParam[来源]

给定角色 replica 的 specs returns holder 其中包含最终要传递给的参数,以实际调用和运行每个角色的副本。预计 为 的返回值。 由于角色的镜像只需要获取一次(不是每个副本) 调用方应为每个角色调用一次方法 并为每个 .ReplicaParamsubprocess.Popenimg_rootself.fetch(role.image)fetchrole.num_replicas

torchx.schedulers.local_scheduler 类CWDImageProvidercfg torchx.specs.api.RunConfig[来源]

但是,与 LocalDirectoryImageProvider 类似,它会忽略映像名称和 使用当前工作目录作为映像路径。

例:

  1. fetch(Image(name="/tmp/foobar"))返回 os.getcwd()

  2. fetch(Image(name="foobar:latest"))返回 os.getcwd()

fetch图片strstr[来源]

拉取给定的图像并返回拉取的图像的路径 本地主机或空字符串(如果没有 OP)

get_cwd图片str可选[str][来源]

返回已挂载的 img 目录的绝对路径。用作工作 目录中启动子进程。

get_entrypointimg_root: str角色 torchx.specs.api.Rolestr[来源]

返回入口点的位置。

文档

访问 PyTorch 的全面开发人员文档

查看文档

教程

获取面向初学者和高级开发人员的深入教程

查看教程

资源

查找开发资源并解答您的问题

查看资源