目录

torchx.workspace

状态:Beta 版

工作区用于在现有映像上应用本地更改,以便您可以 在远程集群上执行您的代码。此模块包含使用的接口 由 Workspace 实施。

这些工作区被定义为一个路径,目录和 下的文件将用于生成补丁。fsspec

工作区路径示例:

  • file://.当前工作目录

  • memory://foo-bar/用于 Notebook/编程使用的内存工作区

torchx.workspace。工作区[来源]

注意:(原型)此界面如有更改,恕不另行通知!

可以附加到 Scheduler 的 Mix-in,该 Scheduler 将 构建工作区。工作区是代码库/项目的本地签出 构建成一个图像。工作区计划程序将功能添加到 自动重建镜像或生成 diff 补丁 应用于 ,允许用户创建本地代码 对应用程序的更改并反映这些更改 (通过新映像或叠加补丁)在运行时 无需手动重建映像。该 工作区生成构件取决于实现。Role

抽象 build_workspace_and_update_role角色 torchx.specs.api.Roleworkspace strcfg Mapping[str 可选[Union[str int float bool List[str]]]][来源]

构建指定的 for to 并更新 以反映构建的工作区工件。 在最简单的情况下,此方法会生成新映像并更新 角色的映像。构建某些 (更高效的) 实施 Incremental diff 补丁,这些补丁覆盖在角色的映像之上。workspaceimgrole

注意:该方法会改变传递的 .role

torchx.workspace 中。walk_workspacefs AbstractFileSystempath strignore_name str = '.torchxignore'Iterable[元组[str Iterable[str] 映射[str 映射[str 对象]]]]][来源]

walk_workspace 遍历文件系统路径并应用 ignore 规则 通过 指定。 这遵循 的规则。https://docs.docker.com/engine/reference/builder/#dockerignore-fileignore_name.dockerignore

torchx.workspace.docker_workspace

torchx.workspace.docker_workspace 类DockerWorkspacedocker_client 可选[DockerClient] = None[来源]

DockerWorkspace 将从工作区构建修补的 docker 镜像。这些 修补的镜像是 Docker 镜像,可以通过 docker 守护进程或使用帮助程序方法推送到远程存储库 远程作业。

这需要在本地运行 docker 守护进程并进行远程推送 需要通过 对这些存储库进行身份验证。docker login

如果工作区中存在一个文件,该文件将 用于构建容器。Dockerfile.torchx

要从构建上下文中排除文件,您可以使用标准 .dockerignore 文件。

查看更多:

_push_imagesimages_to_push Dict[str Tuple[strstr]]None[来源]

_push_images 将指定的镜像推送到远程容器 repository 的 Repository 中。docker 守护进程必须是 使用 对远程存储库进行身份验证。docker login

参数

images_to_push – [local image name, (remote repo, tag)] 的字典。

_update_app_imagesapp torchx.specs.api.AppDefcfg Mapping[str optional[Union[str int float bool List[str]]]]Dict[str Tuple[str str]][来源]

_update_app_images 将提供的本地 Docker 镜像(通过 标识)替换为它们将上传到的远程路径,并且 返回本地名称到远程名称的映射。sha256:...AppDef

_push_images必须在 启动作业。

返回

[local image name, (remote repo, tag)] 的字典。

build_workspace_and_update_role角色 torchx.specs.api.Roleworkspace strcfg Mapping[str 可选[联合[str int float bool List[str]]]][来源]

使用 的映像作为基础映像构建新的 Docker 映像 并使用这个新构建的 docker 镜像 ID 更新 的镜像rolerole

参数
  • role – 其镜像 (Docker 镜像) 将用作基础镜像的角色

  • workspace— 包含要覆盖内容的目录的 fsspec 路径

torchx.workspace.dir_workspace

torchx.workspace.dir_workspace 类DirWorkspace[来源]
build_workspace_and_update_role角色 torchx.specs.api.Roleworkspace strcfg Mapping[str 可选[联合[str int float bool List[str]]]][来源]

创建一个由 从工作区指定的新目录。角色 image 字段将设置为 .job_dirjob_dir

将跳过文件夹中列出的任何文件。.torchxignore

文档

访问 PyTorch 的全面开发人员文档

查看文档

教程

获取面向初学者和高级开发人员的深入教程

查看教程

资源

查找开发资源并解答您的问题

查看资源