Ray¶
- class torchx.schedulers.ray_scheduler.RayScheduler(session_name: str, ray_client: Optional[JobSubmissionClient] = None)[source]¶
基础：
TmpDirWorkspaceMixin,Scheduler[RayOpts]RayScheduler 是 TorchX 的一个调度接口，用于 Ray。作业定义中的工作者将以 Ray 活动者的形式启动。
工作环境由TorchX工作区指定。除非在
.torchxignore中指定，否则工作区中的任何文件都会出现在Ray作业中。Python依赖项将从工作区根目录下的requirements.txt文件中读取，除非通过-c ...,requirements=foo/requirements.txt覆盖。配置选项
usage: [cluster_config_file=CLUSTER_CONFIG_FILE],[cluster_name=CLUSTER_NAME],[dashboard_address=DASHBOARD_ADDRESS],[requirements=REQUIREMENTS] optional arguments: cluster_config_file=CLUSTER_CONFIG_FILE (str, None) Use CLUSTER_CONFIG_FILE to access or create the Ray cluster. cluster_name=CLUSTER_NAME (str, None) Override the configured cluster name. dashboard_address=DASHBOARD_ADDRESS (str, 127.0.0.1:8265) Use ray status to get the dashboard address you will submit jobs against requirements=REQUIREMENTS (str, None) Path to requirements.txt
兼容性
功能
调度程序支持
获取日志
部分支持。Ray 只支持单一流日志，因此仅支持一个虚拟的“ray/0”组合日志角色。 不支持尾部查看和时间定位。
分布式作业
✔️
取消任务
✔️
描述工作
部分支持。RayScheduler 将返回作业状态，但不提供完整的原始 AppSpec。
工作区 / 补丁修复
✔️
挂载
❌
弹性
部分支持。多角色工作不被支持。
- describe(app_id: str) Optional[DescribeAppResponse][source]¶
描述指定的应用程序。
- Returns:
应用程序定义描述或
None如果应用程序不存在。
- list() List[ListAppResponse][source]¶
对于调度器上发布的应用，此 API 返回一个 ListAppResponse 对象列表，每个对象包含应用 ID 及其状态。 注意：此 API 处于原型阶段，可能会发生变化。
- log_iter(app_id: str, role_name: Optional[str] = None, k: int = 0, regex: Optional[str] = None, since: Optional[datetime] = None, until: Optional[datetime] = None, should_tail: bool = False, streams: Optional[Stream] = None) Iterable[str][source]¶
返回一个迭代器，用于访问日志行的
k``th replica of the ``role。 该迭代器在读取完所有符合条件的日志行后结束。如果调度程序支持基于时间指针获取日志行，则
since，until字段会被遵循，否则会被忽略。不指定since和until相当于获取所有可用的日志行。如果until为空，则迭代器的行为就像tail -f一样，跟随日志输出直到作业达到终端状态。日志的确切定义取决于调度程序的具体设置。有些调度程序可能会将标准错误或标准输出视为日志，而其他调度程序则可能从日志文件中读取日志。
行为和假设：
如果在不存在的应用程序上调用此方法，会产生未定义行为。 调用者应在调用此方法之前使用
exists(app_id)检查应用程序是否存在。不是有状态的，用相同的参数调用此方法两次 会返回一个新的迭代器。之前的迭代 进度会丢失。
不一定始终支持日志追尾功能。并非所有调度器都支持实时日志迭代（例如，在应用程序运行时追尾日志）。有关迭代器的行为，请参阅特定调度器的文档。
- 3.1 If the scheduler supports log-tailing, it should be controlled
by
should_tailparameter.
不保证日志保留。调用此方法时，底层调度程序可能已经清除了该应用程序的日志记录。如果是这样的话，此方法将引发任意异常。
如果
should_tail为 True，该方法仅在可访问的日志行已完全耗尽且应用程序达到最终状态时抛出StopIteration异常。 例如，如果应用程序卡住且没有生成任何日志行，则迭代器会阻塞直到应用程序最终被终止（通过超时或手动操作），此时它会抛出一个StopIteration异常。如果
should_tail是 False，该方法在没有更多日志时抛出StopIteration。不一定由所有调度器支持。
某些调度器可能通过支持
__getitem__（例如，iter[50]寻找第 50 行日志）来支持行光标。- Whitespace is preserved, each new line should include
\n. To 支持交互式进度条，返回的行不需要包含
\n，但应该在不换行的情况下打印，以正确处理\r回车符。
- Whitespace is preserved, each new line should include
- Parameters:
流 – 要选择的IO输出流。 选项之一：combined、stdout、stderr。 如果所选流不被调度程序支持，它将抛出一个ValueError异常。
- Returns:
一个指定角色副本的日志行上的
Iterator- Raises:
NotImplementedError – 如果调度器不支持日志迭代
- torchx.schedulers.ray_scheduler.create_scheduler(session_name: str, ray_client: Optional[JobSubmissionClient] = None, **kwargs: Any) RayScheduler[source]¶
- torchx.schedulers.ray_scheduler.serialize(actors: List[RayActor], dirpath: str, output_filename: str = 'actors.json') None[source]¶
- class torchx.schedulers.ray_scheduler.RayJob(app_id: str, working_dir: str, cluster_config_file: ~typing.Optional[str] = None, cluster_name: ~typing.Optional[str] = None, dashboard_address: ~typing.Optional[str] = None, requirements: ~typing.Optional[str] = None, actors: ~typing.List[~torchx.schedulers.ray.ray_common.RayActor] = <factory>)[source]¶
表示应在 Ray 集群上运行的一个作业。
- Variables:
app_id (str) – 应用程序的唯一ID（即作业）。
cluster_config_file (可选[字符串]) – Ray 集群配置文件。
cluster_name (可选[str]) – 要使用的集群名称。
dashboard_address (可选[str]) – 要连接的现有仪表板IP地址
working_dir (str) – 将工作目录复制到集群的目录
需求 (可选[字符串]) – 根据requirements.txt在集群上安装的库
actor (列表[torchx.schedulers.ray.ray_common.RayActor]) – 表示要运行的任务的 Ray actor。此属性会被序列化为一个 JSON 文件，并复制到集群中，ray_main.py 使用它来启动任务。