GCP 批处理¶

这包含可用于运行 TorchX 的 TorchX GCP Batch 调度程序组件。

此调度程序处于原型阶段，如有更改，恕不另行通知。

先决条件¶

您需要通过启用和设置将 GCP 项目配置为使用 Batch。查看 https://cloud.google.com/batch/docs/get-started#prerequisites

torchx.schedulers.gcp_batch_scheduler 类。GCPBatchScheduler （session_name： str， client： Optional[Any] = None）[来源]¶

基地：Scheduler[GCPBatchOpts]

GCPBatchScheduler 是 GCP Batch 的 TorchX 调度接口。

$ pip install torchx[gcp_batch]
$ torchx run --scheduler gcp_batch utils.echo --msg hello
# This launches a job with app handle like gcp_batch://torchx/project:location:app_id1234 and prints it
$ torchx status gcp_batch://torchx/project:location:app_id1234
...

身份验证是使用 gcloud 凭证处理从环境中加载的。

配置选项

    usage:
        [project=PROJECT],[location=LOCATION]

    optional arguments:
        project=PROJECT (str, None)
            Name of the GCP project. Defaults to the configured GCP project in the environment
        location=LOCATION (str, us-central1)
            Name of the location to schedule the job in. Defaults to us-central1

兼容性

特征	计划程序支持
获取日志	✔️
分布式作业	✔️
取消作业	✔️
描述任务	✔️
工作区 / 修补	❌
坐骑	❌
弹性	❌

describe（app_id： str） → 可选[DescribeAppResponse][来源]¶

描述指定的应用程序。

结果: AppDef 描述，或者应用程序不存在。None

list（） → List[ListAppResponse][来源]¶: 对于在调度程序上启动的应用程序，此 API 返回 ListAppResponse 列表对象，每个对象都有 App ID 及其 Status。注意：此 API 处于原型阶段，可能会发生更改。

log_iter（app_id： str， role_name： str = ''， k： int = 0，正则表达式：可选[str] = 无，因为：可选[日期时间]] = 无，直到：可选[datetime] = 无，should_tail： bool = False， streams：可选[Stream] = None） → Iterable[str][来源]¶

返回 . 当读取了所有符合条件的 log 行时，迭代器结束。k``th replica of the ``role

如果调度程序支持基于时间的游标获取日志行对于自定义时间范围，则，字段为 honored，否则将被忽略。未指定，相当于获取所有可用的日志行。如果是 empty，则迭代器的行为类似于，跟在日志输出之后直到作业达到 END 状态。sinceuntilsinceuntiluntiltail -f

构成日志的确切定义特定于计划程序。一些调度器可能会将 stderr 或 stdout 视为日志，其他人可能会读取日志从日志文件中。

行为和假设：

如果在不存在的应用程序上调用，则生成 undefined-behavior 调用方应在调用此方法之前检查应用是否存在 using。exists(app_id)
不是有状态的，使用相同的参数调用此方法两次返回一个新的迭代器。先前迭代进度丢失。
并不总是支持对数拖尾。并非所有调度程序都支持 live 日志迭代（例如，在应用程序运行时跟踪日志）。指 Iterator 行为的特定 scheduler 文档。

3.1 如果调度器支持 log-tailing，应该对其进行控制: by 参数。should_tail

不保证日志保留。有可能到这个方法调用时，底层调度程序可能已经清除了日志记录对于此应用程序。如果是这样，此方法将引发任意异常。
如果为 True，则该方法仅引发异常当可访问的日志行已完全耗尽并且应用程序已达到最终状态。例如，如果应用程序卡住并且没有产生任何日志行，然后 iterator 会阻塞，直到应用程序最终被杀死（通过 timeout 或手动），此时它会引发一个 .should_tailStopIterationStopIteration

如果为 False，则当没有更多日志时，该方法将引发。should_tailStopIteration
不需要所有调度程序都支持。
一些调度器可能通过支持 line cursor（例如寻找第 50 个对数行）。__getitem__iter[50]
保留空格，每个新行应包含。自\n
支持交互式进度条返回的行不需要 include 的 m，但随后应打印时不带换行符正确处理回车。\n\r

参数: streams – 要选择的 IO 输出流。其中之一： combined， stdout， stderr. 如果调度程序不支持所选流，它将 throw 一个 ValueError 的 Error。
结果: 指定角色副本的 over log linesIterator
提升：: NotImplementedError – 如果调度程序不支持日志迭代

run_opts（） → runopts[来源]¶: 返回计划程序所需的运行配置选项。基本上是 API 的。--helprun

schedule（dryrun_info： AppDryRunInfo[GCPBatchJob]） → str[源代码]¶

相同，只是它需要一个 . 鼓励实现者实现此方法，而不是直接实现 since 可以很简单实施者：submitAppDryRunInfosubmitsubmit

dryrun_info = self.submit_dryrun(app, cfg)
return schedule(dryrun_info)

torchx.schedulers.gcp_batch_scheduler 类。GCPBatchJob（名称：str，项目：str，位置：str，job_def： “batch_v1。约伯'）[来源]¶

参考¶

torchx.schedulers.gcp_batch_scheduler。create_scheduler（session_name： str， **kwargs： object） → GCPBatchScheduler[来源]¶

GCP 批处理¶

先决条件¶

参考¶

文档

教程

资源