Slurm

这包含 TorchX Slurm 调度程序，可以用于在 Slurm 集群上运行 TorchX 组件。

class torchx.schedulers.slurm_scheduler.SlurmScheduler(session_name: str)

基础： DirWorkspaceMixin, Scheduler[SlurmOpts]

SlurmScheduler 是 TorchX 的一个调度接口，用于 Slurm。TorchX 假设 Slurm 命令行工具已本地安装，并且作业计费已启用。

每个应用程序定义都通过异构作业使用 sbatch 进行调度。 每个角色的每个副本都会生成一个带有其资源分配和参数的唯一 shell 脚本，然后使用 sbatch 一起启动它们。

日志可以通过 torchx log 组合形式获取，也可以通过程序化API获取，并且在作业启动目录下以 slurm-<jobid>-<role>-<replica_id>.out 形式存在。如果TorchX运行的目录与作业创建的目录不同，则无法找到日志。

传递给它的某些配置选项被作为SBATCH参数添加到每个副本中。有关参数的信息，请参见https://slurm.schedmd.com/sbatch.html#SECTION_OPTIONS。

Slurm 作业会继承当前激活的 conda 或 virtualenv 并在当前工作目录下运行。这与 local_cwd 调度程序的行为一致。

更多信息请参见：

• https://slurm.schedmd.com/sbatch.html

• https://slurm.schedmd.com/heterogeneous_jobs.html

$ torchx run --scheduler slurm utils.echo --msg hello
slurm://torchx_user/1234
$ torchx status slurm://torchx_user/1234
$ less slurm-1234.out
...

配置选项

    usage:
        [partition=PARTITION],[time=TIME],[comment=COMMENT],[constraint=CONSTRAINT],[mail-user=MAIL-USER],[mail-type=MAIL-TYPE],[job_dir=JOB_DIR]

    optional arguments:
        partition=PARTITION (str, None)
            The partition to run the job in.
        time=TIME (str, None)
            The maximum time the job is allowed to run for. Formats:             "minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours",             "days-hours:minutes" or "days-hours:minutes:seconds"
        comment=COMMENT (str, None)
            Comment to set on the slurm job.
        constraint=CONSTRAINT (str, None)
            Constraint to use for the slurm job.
        mail-user=MAIL-USER (str, None)
            User to mail on job end.
        mail-type=MAIL-TYPE (str, None)
            What events to mail users on.
        job_dir=JOB_DIR (str, None)
            The directory to place the job code and outputs. The
            directory must not exist and will be created. To enable log
            iteration, jobs will be tracked in ``.torchxslurmjobdirs``.
            

兼容性

功能	调度程序支持
获取日志	✔️
分布式作业	✔️
取消任务	✔️
描述工作	部分支持。SlurmScheduler 将返回作业和副本状态，但不提供完整的原始应用规范。
工作区 / 补丁修复	如果指定了 ``job_dir``，DirWorkspaceMixin 将创建一个包含工作区快照的新隔离目录。
挂载	❌
弹性	❌

如果分区配置的RealMemory小于1GB，我们将禁用内存请求以解决https://github.com/aws/aws-parallelcluster/issues/2198。

describe(app_id: str) → Optional[DescribeAppResponse]

描述指定的应用程序。

Returns

应用程序定义描述或 None 如果应用程序不存在。

list() → List[ListAppResponse]

对于调度器上发布的应用，此 API 返回一个 ListAppResponse 对象列表，每个对象包含应用 ID 及其状态。 注意：此 API 处于原型阶段，可能会发生变化。

log_iter(app_id: str, role_name: str, k: int = 0, regex: Optional[str] = None, since: Optional[datetime] = None, until: Optional[datetime] = None, should_tail: bool = False, streams: Optional[Stream] = None) → Iterable[str]

返回一个迭代器，用于访问日志行的 k``th replica of the ``role。 该迭代器在读取完所有符合条件的日志行后结束。

如果调度程序支持基于时间指针获取日志行，则since，until字段会被遵循，否则会被忽略。不指定since和until相当于获取所有可用的日志行。如果until为空，则迭代器的行为就像tail -f一样，跟随日志输出直到作业达到终端状态。

日志的确切定义取决于调度程序的具体设置。有些调度程序可能会将标准错误或标准输出视为日志，而其他调度程序则可能从日志文件中读取日志。

行为和假设：

1. 如果在不存在的应用程序上调用此方法，会产生未定义行为。 调用者应在调用此方法之前使用exists(app_id)检查应用程序是否存在。

2. 不是有状态的，用相同的参数调用此方法两次 会返回一个新的迭代器。之前的迭代 进度会丢失。

3. 不一定始终支持日志追尾功能。并非所有调度器都支持实时日志迭代（例如，在应用程序运行时追尾日志）。有关迭代器的行为，请参阅特定调度器的文档。

3.1 If the scheduler supports log-tailing, it should be controlled

by should_tail parameter.

4. 不保证日志保留。调用此方法时，底层调度程序可能已经清除了该应用程序的日志记录。如果是这样的话，此方法将引发任意异常。

5. 如果 should_tail 为 True，该方法仅在可访问的日志行已完全耗尽且应用程序达到最终状态时抛出 StopIteration 异常。 例如，如果应用程序卡住且没有生成任何日志行，则迭代器会阻塞直到应用程序最终被终止（通过超时或手动操作），此时它会抛出一个 StopIteration 异常。

   如果 should_tail 是 False，该方法在没有更多日志时抛出 StopIteration。

6. 不一定由所有调度器支持。

7. 某些调度器可能通过支持 __getitem__ （例如，iter[50] 寻找第 50 行日志）来支持行光标。

8. Whitespace is preserved, each new line should include \n. To

   支持交互式进度条，返回的行不需要包含 \n，但应该在不换行的情况下打印，以正确处理 \r 回车符。

Parameters

流 – 要选择的IO输出流。 选项之一：combined、stdout、stderr。 如果所选流不被调度程序支持，它将抛出一个ValueError异常。

Returns

一个指定角色副本的日志行上的 Iterator

Raises

NotImplementedError – 如果调度器不支持日志迭代

schedule(dryrun_info: AppDryRunInfo[SlurmBatchRequest]) → str

与 submit 相同，但接受一个 AppDryRunInfo。 建议实现者实现此方法而不是直接实现 submit，因为 submit 可以通过以下方式简单地实现：

dryrun_info = self.submit_dryrun(app, cfg)
return schedule(dryrun_info)

torchx.schedulers.slurm_scheduler.create_scheduler(session_name: str, **kwargs: Any) → SlurmScheduler

class torchx.schedulers.slurm_scheduler.SlurmBatchRequest(cmd: List[str], replicas: Dict[str, SlurmReplicaRequest], job_dir: Optional[str], max_retries: int)

用于通过 sbatch 启动 Slurm 作业的参数。

materialize() → str

materialize 返回可以传递给 sbatch 的脚本内容以运行作业。

class torchx.schedulers.slurm_scheduler.SlurmReplicaRequest(name: str, entrypoint: str, args: List[str], srun_opts: Dict[str, str], sbatch_opts: Dict[str, Optional[str]], env: Dict[str, str])

用于存储在 Slurm 上运行的单个副本的参数，并可以转换为一个 bash 脚本。

classmethod from_role(name: str, role: Role, cfg: SlurmOpts, nomem: bool) → SlurmReplicaRequest

from_role 创建了特定角色和名称的 SlurmReplicaRequest。

materialize() → Tuple[List[str], List[str]]

materialize 返回该角色的 sbatch 和 srun 组。它们应使用:结合以形成 Slurm 异构组。