当地¶
这包含可用于运行 TorchX 的 TorchX 本地调度器 组件。
- torchx.schedulers.local_scheduler 类。LocalScheduler（session_name： str， image_provider_class： Callable[[Mapping[str， Optional[Union[str， int， float， bool， List[str]]]]]，torchx.schedulers.local_scheduler。ImageProvider]，cache_size：int = 100，extra_paths：可选[List[str]] = 无）[来源]¶
在 localhost 上调度。容器被建模为进程和 容器的某些不相关的属性 或者无法对 localhost 强制执行 runs。被忽略的属性：
资源要求
资源限制实施
重试策略
重试计数（不支持重试）
部署首选项
调度器支持在接收 SIGTERM 或 SIGINT 时进行孤立进程清理。 调度程序将终止生成的进程。
这是通过 scheduler local_cwd 公开的。
local_cwd 相对于当前工作运行 目录下，并忽略 images 字段以加快迭代和测试速度 目的。
注意
孤立项清理仅在从主线程实例化 LocalScheduler 时起作用。
注意
请谨慎使用此调度程序，因为应用程序已成功运行 在由此调度程序支持的会话中，可能无法在实际的 生产集群。
特征
计划程序支持
获取日志
✔️
分布式作业
LocalScheduler 支持多个副本，但所有副本都将 在本地主机上执行。
取消作业
✔️
描述任务
✔️
- close（） → None[来源]¶
仅适用于具有本地状态的调度器！关闭调度程序 释放任何已分配的资源。关闭后，scheduler 对象 被视为不再有效，并且对对象调用的任何方法 导致未定义的行为。
此方法不应引发异常，并且允许调用 对同一对象进行多次作。
注意
仅对具有本地状态的调度程序实现进行覆盖 (). Scheduler 只需包装远程 scheduler 的 Client 端就不需要 实现此方法。
torchx/schedulers/local_scheduler.py
- describe（app_id： str） → 可选[torchx.schedulers.api.DescribeAppResponse][来源]¶
描述指定的应用程序。
- 返回
AppDef 描述，或者应用程序不存在。
None
- log_iter（app_id： str， role_name： str， k： int = 0， regex： 可选[str] = 无，因为：可选[datetime.datetime] = 无，直到：可选[datetime.datetime] = 无，should_tail：bool = False，流：可选[torchx.schedulers.api.Stream] = None） → Iterable[str][源代码]¶
返回 . 迭代器 ends end 所有符合条件的日志行都已读取。
k``th replica of the ``role如果调度程序支持基于时间的游标获取日志行 对于自定义时间范围，则 ， 字段为 honored，否则将被忽略。未指定 ，相当于获取所有可用的日志行。如果 是 empty，则迭代器的行为类似于 ，跟在日志输出之后 直到作业达到 END 状态。
sinceuntilsinceuntiluntiltail -f构成日志的确切定义特定于计划程序。一些 调度器可能会将 stderr 或 stdout 视为日志，其他人可能会读取日志 从日志文件中。
行为和假设：
如果在不存在的应用程序上调用，则生成 undefined-behavior 调用方应在调用此方法之前检查应用是否存在 using。
exists(app_id)不是有状态的，使用相同的参数调用此方法两次 返回一个新的迭代器。先前迭代 进度丢失。
并不总是支持对数拖尾。并非所有调度程序都支持 live 日志迭代（例如，在应用程序运行时跟踪日志）。指 Iterator 行为的特定 scheduler 文档。
- 3.1 如果调度器支持 log-tailing，应该对其进行控制
by''should_tail'' 参数。
不保证日志保留。有可能到这个 方法调用时，底层调度程序可能已经清除了日志记录 对于此应用程序。如果是这样，此方法将引发任意异常。
如果为 True，则该方法仅引发异常 当可访问的日志行已完全耗尽并且应用程序已达到 最终状态。例如，如果应用程序卡住并且没有产生任何日志行， 然后 iterator 会阻塞，直到应用程序最终被杀死（通过 timeout 或手动），此时它会引发一个 .
should_tailStopIterationStopIteration如果为 False，则当没有更多日志时，该方法将引发。
should_tailStopIteration不需要所有调度程序都支持。
一些调度器可能通过支持 line cursor（例如 寻找第 50 个对数行）。
__getitem__iter[50]
- 参数
streams – 要选择的 IO 输出流。 其中之一： combined， stdout， stderr. 如果调度程序不支持所选流，它将 throw 一个 ValueError 的 Error。
- 返回
指定角色副本的 over log lines
Iterator- 提高
NotImplementedError – 如果调度程序不支持日志迭代
- run_opts（） → torchx.specs.api.runopts[来源]¶
返回计划程序所需的运行配置选项。 基本上是 API 的。
--helprun
- torchx.schedulers.docker_scheduler 类。DockerScheduler（session_name： str）[来源]¶
DockerScheduler 是 Docker 的 TorchX 调度接口。
这是通过 scheduler local_docker 公开的。
此调度程序使用本地 docker 运行时使用 AppDef 中的指定镜像。必须安装并运行 Docker。这 提供最接近原生使用 Docker 的调度程序的环境，例如 作为 Kubernetes。
注意
Docker 不提供 Gang 调度机制。如果一个副本 如果作业失败，则只会重新启动该副本。
特征
计划程序支持
获取日志
✔️
分布式作业
✔️
取消作业
✔️
描述任务
部分支持。DockerScheduler 将返回 job 和 replica 状态，但不提供完整的原始 AppSpec。
- build_workspace_image（img： str， workspace： str） → str[来源]¶
build_workspace_image 使用 WorkSpace 中的文件创建新映像 叠加在其上。
- 参数
img – 用作基础的 Docker 镜像
workspace— 包含要覆盖内容的目录的 fsspec 路径
- 返回
新的 Docker 镜像 ID。
- describe（app_id： str） → 可选[torchx.schedulers.api.DescribeAppResponse][来源]¶
描述指定的应用程序。
- 返回
AppDef 描述，或者应用程序不存在。
None
- log_iter（app_id： str， role_name： str， k： int = 0， regex： 可选[str] = 无，因为：可选[datetime.datetime] = 无，直到：可选[datetime.datetime] = 无，should_tail：bool = False，流：可选[torchx.schedulers.api.Stream] = None） → Iterable[str][源代码]¶
返回 . 迭代器 ends end 所有符合条件的日志行都已读取。
k``th replica of the ``role如果调度程序支持基于时间的游标获取日志行 对于自定义时间范围，则 ， 字段为 honored，否则将被忽略。未指定 ，相当于获取所有可用的日志行。如果 是 empty，则迭代器的行为类似于 ，跟在日志输出之后 直到作业达到 END 状态。
sinceuntilsinceuntiluntiltail -f构成日志的确切定义特定于计划程序。一些 调度器可能会将 stderr 或 stdout 视为日志，其他人可能会读取日志 从日志文件中。
行为和假设：
如果在不存在的应用程序上调用，则生成 undefined-behavior 调用方应在调用此方法之前检查应用是否存在 using。
exists(app_id)不是有状态的，使用相同的参数调用此方法两次 返回一个新的迭代器。先前迭代 进度丢失。
并不总是支持对数拖尾。并非所有调度程序都支持 live 日志迭代（例如，在应用程序运行时跟踪日志）。指 Iterator 行为的特定 scheduler 文档。
- 3.1 如果调度器支持 log-tailing，应该对其进行控制
by''should_tail'' 参数。
不保证日志保留。有可能到这个 方法调用时，底层调度程序可能已经清除了日志记录 对于此应用程序。如果是这样，此方法将引发任意异常。
如果为 True，则该方法仅引发异常 当可访问的日志行已完全耗尽并且应用程序已达到 最终状态。例如，如果应用程序卡住并且没有产生任何日志行， 然后 iterator 会阻塞，直到应用程序最终被杀死（通过 timeout 或手动），此时它会引发一个 .
should_tailStopIterationStopIteration如果为 False，则当没有更多日志时，该方法将引发。
should_tailStopIteration不需要所有调度程序都支持。
一些调度器可能通过支持 line cursor（例如 寻找第 50 个对数行）。
__getitem__iter[50]
- 参数
streams – 要选择的 IO 输出流。 其中之一： combined， stdout， stderr. 如果调度程序不支持所选流，它将 throw 一个 ValueError 的 Error。
- 返回
指定角色副本的 over log lines
Iterator- 提高
NotImplementedError – 如果调度程序不支持日志迭代
- run_opts（） → torchx.specs.api.runopts[来源]¶
返回计划程序所需的运行配置选项。 基本上是 API 的。
--helprun
图像提供程序¶
- torchx.schedulers.local_scheduler 类。ImageProvider[来源]¶
管理下载和设置 on localhost。这仅在 b2 中是必需的，因为通常真正的调度程序会执行此作 代表用户。
LocalhostScheduler- fetch_role（角色：torchx.specs.api.Role） → str[来源]¶
与它获取角色的 image 并返回镜像根目录的路径，但 它允许此提供程序更新角色。有用 当需要在角色上设置其他环境变量时 为了遵守图片提供商的获取和管理方式 localhost 上的映像。默认情况下，此方法只是将 自。如有必要，请覆盖。
fetch(image)fetch(role.image)
- get_entrypoint（img_root： str， 角色： torchx.specs.api.Role） → str[来源]¶
返回入口点的位置。
- get_replica_param（img_root： str， 角色： torchx.specs.api.Role， stdout： 可选[str] = 无，stderr： 可选[str] = 无，组合： 可选[str] = 无） → torchx.schedulers.local_scheduler。ReplicaParam[来源]¶
给定角色 replica 的 specs returns holder 其中包含最终要传递给的参数，以实际调用和运行每个角色的副本。预计 为 的返回值。 由于角色的镜像只需要获取一次（不是每个副本） 调用方应为每个角色调用一次方法 并为每个 .
ReplicaParamsubprocess.Popenimg_rootself.fetch(role.image)fetchrole.num_replicas
- torchx.schedulers.local_scheduler 类。CWDImageProvider（cfg： Mapping[str， Optional[Union[str， int， float， bool， List[str]]]）[来源]¶
但是，与 LocalDirectoryImageProvider 类似，它会忽略映像名称和 使用当前工作目录作为映像路径。
例：
fetch(Image(name="/tmp/foobar"))返回 os.getcwd（）fetch(Image(name="foobar:latest"))返回 os.getcwd（）
- get_entrypoint（img_root： str， 角色： torchx.specs.api.Role） → str[来源]¶
返回入口点的位置。