目录

torchx.workspace

状态:Beta 版

工作区用于在现有映像上应用本地更改,以便您可以 在远程集群上执行您的代码。此模块包含使用的接口 由 Workspace 实施。

这些工作区被定义为一个路径,目录和 下的文件将用于生成补丁。fsspec

工作区路径示例:

  • file://.当前工作目录

  • memory://foo-bar/用于 Notebook/编程使用的内存工作区

torchx.workspace。WorkspaceMixin*args 对象**kwargs 对象[来源]

注意:(原型)此界面如有更改,恕不另行通知!

可以附加到 Scheduler 的 Mix-in,该 Scheduler 将 构建工作区。工作区是代码库/项目的本地签出 构建成一个图像。工作区计划程序将功能添加到 自动重建镜像或生成 diff 补丁 应用于 ,允许用户创建本地代码 对应用程序的更改并反映这些更改 (通过新映像或叠加补丁)在 runtime 无需手动重建映像。该 工作区生成构件取决于实现。Role

抽象 build_workspace_and_update_rolerole Roleworkspace strcfg Mapping[str 可选[Union[str int float bool List] [str]]]]) [来源]

构建指定的 for to 并更新 以反映构建的工作区工件。 在最简单的情况下,此方法会生成新映像并更新 角色的映像。构建某些 (更高效的) 实施 Incremental diff 补丁,这些补丁覆盖在角色的映像之上。workspaceimgrole

注意:该方法会改变传递的 .role

dryrun_push_imagesapp AppDefcfg Mapping[str Optional[Union[str int float bool List[str]]]]) T[来源]

dryrun_push 对映像推送进行试运行,并将应用程序更新为具有 最终值。仅用于远程作业。

push必须在计划作业之前调用。

push_imagesimages_to_push T [来源]

push 会根据需要将任何镜像推送到远程存储库。

workspace_opts runopts[来源]

返回工作区所需的运行配置选项。 基本上是 API 的。--helprun

torchx.workspace 中。walk_workspacefs AbstractFileSystem路径 strignore_name: str = '.torchxignore' Iterable[元组[str Iterable[str] 映射[str 映射[str object]]]][来源]

walk_workspace 遍历文件系统路径并应用 ignore 规则 通过 指定。 这遵循 的规则。https://docs.docker.com/engine/reference/builder/#dockerignore-fileignore_name.dockerignore

torchx.workspace.docker_workspace

torchx.workspace.docker_workspace 类DockerWorkspaceMixin*args objectdocker_client: 可选[DockerClient] = None**kwargs 对象[来源]

DockerWorkspaceMixin 将从工作区构建修补后的 docker 镜像。这些 修补的镜像是 Docker 镜像,可以通过 docker 守护进程或使用帮助程序方法推送到远程存储库 远程作业。

这需要在本地运行 docker 守护进程并进行远程推送 需要通过 对这些存储库进行身份验证。docker login

如果工作区中存在一个文件,该文件将 用于构建容器。Dockerfile.torchx

要从构建上下文中排除文件,您可以使用标准 .dockerignore 文件。

查看更多:

build_workspace_and_update_rolerole 角色workspace strcfg Mapping[str 可选[Union[str int float bool List[str]]] → 无[来源]

使用 的映像作为基础映像构建新的 Docker 映像 并使用这个新构建的 docker 镜像 ID 更新 的镜像rolerole

参数
  • role – 其镜像 (Docker 镜像) 将用作基础镜像的角色

  • workspace— 包含要覆盖内容的目录的 fsspec 路径

dryrun_push_imagesapp AppDefcfg Mapping[str Optional[Union[str int float bool List[str]]]]) Dict[str Tuple[str str]][来源]

_update_app_images 将提供的本地 Docker 镜像(通过 标识)替换为它们将上传到的远程路径,并且 返回本地名称到远程名称的映射。sha256:...AppDef

push必须在 启动作业。

返回

[local image name, (remote repo, tag)] 的字典。

push_imagesimages_to_push Dict[str Tuple[strstr]] [来源]

_push_images 将指定的镜像推送到远程容器 repository 的 Repository 中。docker 守护进程必须是 使用 对远程存储库进行身份验证。docker login

参数

images_to_push – [local image name, (remote repo, tag)] 的字典。

workspace_opts runopts[来源]

返回工作区所需的运行配置选项。 基本上是 API 的。--helprun

torchx.workspace.dir_workspace

torchx.workspace.dir_workspace 类DirWorkspaceMixin*args 对象**kwargs 对象[来源]
build_workspace_and_update_rolerole 角色workspace strcfg Mapping[str 可选[Union[str int float bool List[str]]] → 无[来源]

创建一个由 从工作区指定的新目录。角色 image 字段将设置为 .job_dirjob_dir

将跳过文件夹中列出的任何文件。.torchxignore

文档

访问 PyTorch 的全面开发人员文档

查看文档

教程

获取面向初学者和高级开发人员的深入教程

查看教程

资源

查找开发资源并解答您的问题

查看资源