目录

HPO

TorchX 与 Ax 集成以提供 超参数优化 (HPO) 支持。由于 HPO 的语义 job 是高度可定制的,尤其是在贝叶斯优化的情况下, HPO 应用程序很难概括为可执行文件。因此 HPO 作为运行时模块而不是内置组件提供。这意味着 TorchX 为您提供的库和工具以简化构建 您自己的 HPO 应用程序和组件。

HPO 应用程序

  1. 请参阅使用 Ax + TorchX 的 HPO,了解如何编写 HPO 应用程序

  2. 构建包含 HPO 应用程序的镜像(通常是 Docker 镜像),编写组件

  3. 使用 torchx CLI 运行它,或者torchx.pipelines

概括地说,HPO 应用程序设置了 HPO 实验和搜索空间。每个 HPO trial 是由 AppDef 定义的作业,该作业通过评估 TorchX 组件。这一点已确定 由 Ax 平台内的贝叶斯优化器。

搜索空间维度必须与参数对齐 中。要启动 HPO 应用程序,您可以运行 main 的 API 请求,或者使用 TorchX 远程调用它(您需要为 HPO 编写一个组件 app 中)。下图描述了其工作原理。

../_images/hpo_diagram.png

ax_test.py unittest 是一个很好的端到端示例,说明了一切是如何工作的。它演示了如何运行 HPO 实验,其中每个 Trial TorchX 内置组件torchx.components.utils.booth().

文档

访问 PyTorch 的全面开发人员文档

查看文档

教程

获取面向初学者和高级开发人员的深入教程

查看教程

资源

查找开发资源并解答您的问题

查看资源