torchx.workspace

状态：测试版

工作空间用于在现有图像的基础上应用本地更改，以便您可以在远程集群上执行代码。此模块包含由工作空间实现使用的接口。

这些工作区被定义为一个 fsspec 路径，其中的目录和文件将用于生成补丁。

示例工作空间路径：

• file://. the current working directory

• memory://foo-bar/ an in-memory workspace for notebook/programmatic usage

class torchx.workspace.WorkspaceMixin(*args: object, **kwargs: object)

注意：（原型）此界面可能随时更改！

一个可以附加到Scheduler的混入，可以添加构建工作区的能力。工作区是代码库/项目本地检查点，用于构建成镜像。工作区调度器增加了自动重建镜像或生成应用于Role的差异补丁的能力，允许用户对应用程序进行本地代码更改，并在运行时通过新镜像或覆盖补丁反映这些更改。 工作区构建产物的确切语义取决于实现。

abstract build_workspace_and_update_role(role: Role, workspace: str, cfg: Mapping[str, Optional[Union[str, int, float, bool, List[str]]]]) → None

构建指定的 workspace 与 img 相关，并更新 role 以反映构建的工作空间 artifacts。 在最简单的情况下，此方法构建一个新的镜像并更新角色的镜像。某些（更高效）实现构建增量差异补丁，覆盖在角色的镜像之上。

注意：此方法会修改传递的 role。

dryrun_push_images(app: AppDef, cfg: Mapping[str, Optional[Union[str, int, float, bool, List[str]]]]) → T

dryrun_push 对图像推送进行预运行，并更新应用程序以获得最终值。仅用于远程作业调用。

push 必须在调度任务之前调用。

push_images(images_to_push: T) → None

如果需要，推送任何图像到远程仓库。

workspace_opts() → runopts

返回工作区期望的运行配置选项。 基本上是一个 --help 用于 run API。

torchx.workspace.walk_workspace(fs: AbstractFileSystem, path: str, ignore_name: str = '.torchxignore') → Iterable[Tuple[str, Iterable[str], Mapping[str, Mapping[str, object]]]]

walk_workspace 遍历文件系统路径并应用由 ignore_name 指定的忽略规则。 这遵循 .dockerignore 的规则。 https://docs.docker.com/engine/reference/builder/#dockerignore-file

torchx.workspace.docker_workspace

class torchx.workspace.docker_workspace.DockerWorkspaceMixin(*args: object, docker_client: Optional[DockerClient] = None, **kwargs: object)

DockerWorkspaceMixin 将从工作空间构建修补过的 Docker 镜像。这些修补过的镜像是 Docker 镜像，可以本地通过 Docker 代理使用，也可以通过助手方法推送到远程仓库以供远程作业使用。

这需要本地运行Docker守护进程，并且远程推送时需要通过docker login认证到这些仓库。

如果工作区中存在一个名为Dockerfile.torchx的文件，将用于构建容器。

Docker 构建提供了额外的构建参数，可以在 Dockerfile 中使用。

• 图像：应用程序定义中的第一个角色的图片字符串

• 工作区：完整的工作区路径

为了排除文件从构建上下文，您可以使用标准 .dockerignore 文件。

查看更多：

• https://docs.docker.com/engine/reference/commandline/login/

• https://docs.docker.com/get-docker/

build_workspace_and_update_role(role: Role, workspace: str, cfg: Mapping[str, Optional[Union[str, int, float, bool, List[str]]]]) → None

使用role的镜像作为基础镜像构建一个新的Docker镜像，并将此新构建的Docker镜像ID更新到role的镜像中

Parameters:

• 角色 – 用于作为基础镜像的图像（一个Docker镜像）

• 工作区 – fsspec 路径到一个包含要覆盖内容的目录

dryrun_push_images(app: AppDef, cfg: Mapping[str, Optional[Union[str, int, float, bool, List[str]]]]) → Dict[str, Tuple[str, str]]

_update_app_images 替换本地 Docker 图像（通过sha256:...标识）在提供的AppDef中的远程路径，该路径将被上传，并返回一个映射，表示本地到远程的名称。

push 必须在启动任务之前调用返回的映射。

Returns:

一个字典，键是本地图像名称，值是一个元组（远程仓库名，标签）。

push_images(images_to_push: Dict[str, Tuple[str, str]]) → None

_push_images 将指定的图像推送到远程容器仓库，使用指定的标签。必须使用 docker login 使用远程仓库进行认证。

Parameters:

图片上传 – 一个字典，键为本地图像名称，值为远程仓库和标签。

workspace_opts() → runopts

返回工作区期望的运行配置选项。 基本上是一个 --help 用于 run API。

torchx.workspace.dir_workspace

class torchx.workspace.dir_workspace.DirWorkspaceMixin(*args: object, **kwargs: object)

build_workspace_and_update_role(role: Role, workspace: str, cfg: Mapping[str, Optional[Union[str, int, float, bool, List[str]]]]) → None

创建一个由job_dir指定的新目录。角色图像字段将被设置为job_dir。

任何文件列表中的.torchxignore文件夹将被跳过。