Slurm¶
这包含可用于运行 TorchX 的 TorchX Slurm 调度程序 组件。
- torchx.schedulers.slurm_scheduler 类。SlurmScheduler（session_name： str）[来源]¶
基地：
Scheduler[SlurmOpts],DirWorkspaceSlurmScheduler 是 slurm 的 TorchX 调度接口。TorchX 期望 slurm CLI 工具在本地安装并启用作业核算。
每个应用程序 def 都是通过 sbatch 使用异构作业调度的。 每个角色的每个副本都有一个唯一的 shell 脚本，该脚本使用其 resource allocations 和 args，然后使用 sbatch 来启动所有这些 一起。
日志可通过编程 API 以组合形式提供 以及 Job Launch 目录中的 .如果 TorchX 在 与创建作业的目录不同，则日志将无法 被发现。
torchx logslurm-<jobid>-<role>-<replica_id>.out传递给它的一些配置选项将作为 SBATCH 参数添加到每个 复制品。有关信息，请参阅 https://slurm.schedmd.com/sbatch.html#SECTION_OPTIONS 在参数上。
Slurm 作业继承当前活动的 or 并运行 在当前工作目录中。这与调度程序的行为相匹配。
condavirtualenvlocal_cwd有关详细信息，请参阅：
$ torchx run --scheduler slurm utils.echo --msg hello slurm://torchx_user/1234 $ torchx status slurm://torchx_user/1234 $ less slurm-1234.out ...
配置选项
usage: [partition=PARTITION],[time=TIME],[comment=COMMENT],[constraint=CONSTRAINT],[mail-user=MAIL-USER],[mail-type=MAIL-TYPE],[job_dir=JOB_DIR] optional arguments: partition=PARTITION (str, None) The partition to run the job in. time=TIME (str, None) The maximum time the job is allowed to run for. Formats: "minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" or "days-hours:minutes:seconds" comment=COMMENT (str, None) Comment to set on the slurm job. constraint=CONSTRAINT (str, None) Constraint to use for the slurm job. mail-user=MAIL-USER (str, None) User to mail on job end. mail-type=MAIL-TYPE (str, None) What events to mail users on. job_dir=JOB_DIR (str, None) The directory to place the job code and outputs. The directory must not exist and will be created. To enable log iteration, jobs will be tracked in ``.torchxslurmjobdirs``.兼容性
特征
计划程序支持
获取日志
✔️
分布式作业
✔️
取消作业
✔️
描述任务
部分支持。SlurmScheduler 将返回作业和副本 状态，但不提供完整的原始 AppSpec。
工作区 / 修补
如果指定了 ''job_dir'' ，则 DirWorkspace 将创建一个新的 isolated 目录。
坐骑
❌
如果分区配置的 RealMemory 小于 1GB，我们将禁用内存 解决方法 https://github.com/aws/aws-parallelcluster/issues/2198 的请求。
- log_iter（app_id： str， role_name： str， k： int = 0， 正则表达式： 可选[str] = 无，因为： 可选[日期时间] = 无，直到：可选[日期时间] = 无，should_tail：bool = False，流： 可选[stream] = None） Iterable[str][来源]¶
返回 . 迭代器 ends end 所有符合条件的日志行都已读取。
k``th replica of the ``role如果调度程序支持基于时间的游标获取日志行 对于自定义时间范围，则 ， 字段为 honored，否则将被忽略。未指定 ，相当于获取所有可用的日志行。如果 是 empty，则迭代器的行为类似于 ，跟在日志输出之后 直到作业达到 END 状态。
sinceuntilsinceuntiluntiltail -f构成日志的确切定义特定于计划程序。一些 调度器可能会将 stderr 或 stdout 视为日志，其他人可能会读取日志 从日志文件中。
行为和假设：
如果在不存在的应用程序上调用，则生成 undefined-behavior 调用方应在调用此方法之前检查应用是否存在 using。
exists(app_id)不是有状态的，使用相同的参数调用此方法两次 返回一个新的迭代器。先前迭代 进度丢失。
并不总是支持对数拖尾。并非所有调度程序都支持 live 日志迭代（例如，在应用程序运行时跟踪日志）。指 Iterator 行为的特定 scheduler 文档。
- 3.1 如果调度器支持 log-tailing，应该对其进行控制
by''should_tail'' 参数。
不保证日志保留。有可能到这个 方法调用时，底层调度程序可能已经清除了日志记录 对于此应用程序。如果是这样，此方法将引发任意异常。
如果为 True，则该方法仅引发异常 当可访问的日志行已完全耗尽并且应用程序已达到 最终状态。例如，如果应用程序卡住并且没有产生任何日志行， 然后 iterator 会阻塞，直到应用程序最终被杀死（通过 timeout 或手动），此时它会引发一个 .
should_tailStopIterationStopIteration如果为 False，则当没有更多日志时，该方法将引发。
should_tailStopIteration不需要所有调度程序都支持。
一些调度器可能通过支持 line cursor（例如 寻找第 50 个对数行）。
__getitem__iter[50]- 保留空格，每个新行应包含 。自
\n 支持交互式进度条返回的行不需要 include 的 m，但随后应打印时不带换行符 正确处理回车。
\n\r
- 保留空格，每个新行应包含 。自
- 参数
streams – 要选择的 IO 输出流。 其中之一： combined， stdout， stderr. 如果调度程序不支持所选流，它将 throw 一个 ValueError 的 Error。
- 结果
指定角色副本的 over log lines
Iterator- 提升：
NotImplementedError – 如果调度程序不支持日志迭代
- schedule（dryrun_info： AppDryRunInfo[SlurmBatchRequest]） str[源]¶
相同，只是它需要一个 . 鼓励实现者实现此方法，而不是 直接实现 since 可以很简单 实施者：
submitAppDryRunInfosubmitsubmitdryrun_info = self.submit_dryrun(app, cfg) return schedule(dryrun_info)
- torchx.schedulers.slurm_scheduler。create_scheduler（session_name：str，**kwargs：任意） → SlurmScheduler[来源]¶
- torchx.schedulers.slurm_scheduler 类。SlurmBatchRequest（cmd： List[str]， 副本： Dict[str， SlurmReplicaRequest]]、job_dir：可选 [str]、max_retries：int）[源]¶
保存用于通过 sbatch 启动 slurm 作业的参数。
- torchx.schedulers.slurm_scheduler 类。SlurmReplicaRequest（名称：str，入口点：str，args：List[str]、srun_opts：Dict[str， str]、sbatch_opts：Dict[str， 可选[str]]，env：Dict[str， str]）[源代码]¶
保存在 slurm 上运行的单个副本的参数，并且可以具体化为 bash 脚本。