AMD 支持

TorchServe 可以在 ROCm 支持的操作系统和设备的任意组合上运行。

支持的 ROCm 版本

将支持 ROCm 的当前稳定版本和以前的路径版本。例如 version 和 where 是当前的主要版本。major.patchN.2N.1N

安装

• 确保您的系统上安装了 python >= 3.8。

• 克隆存储库

  git clone git@github.com:pytorch/serve.git
  

• cd 复制到克隆的文件夹中

  cd serve
  

• 为 Python 创建虚拟环境

  python -m venv venv
  

• 激活虚拟环境。如果您使用其他 shell （fish、csh、powershell），请使用 from 中的相关选项/venv/bin/

  source venv/bin/activate
  

• 安装 ROCm 支持所需的依赖项。

  python ./ts_scripts/install_dependencies.py --rocm=rocm61
  python ./ts_scripts/install_from_src.py
  

• 在 Python 虚拟环境中启用 AMD-SMI

  sudo chown -R $USER:$USER /opt/rocm/share/amd_smi/
  pip install -e /opt/rocm/share/amd_smi/
  

使用 选择加速器HIP_VISIBLE_DEVICES

如果您在运行 TorchServe 的系统上有多个加速器，则可以选择哪些加速器应该对 TorchServe 可见 通过将环境变量设置为一串索引为 0 索引的逗号分隔整数，这些整数表示加速器的 ID。HIP_VISIBLE_DEVICES

如果您有 8 个加速器，但只想让 TorchServe 看到其中的最后四个加速器，则执行 .export HIP_VISIBLE_DEVICES=4,5,6,7

i️ 如果不设置，将导致 TorchServe 使用运行它的系统上的所有可用加速器。HIP_VISIBLE_DEVICES

⚠️ 如果设置为空字符串，可能会遇到麻烦。 例如。 或者 use 如果你想删除它的效果。HIP_VISIBLE_DEVICESexport HIP_VISIBLE_DEVICES=export HIP_VISIBLE_DEVICES=""unset HIP_VISIBLE_DEVICES

⚠️ 同时设置 and 可能会导致意外行为，应避免使用。 这样做可能会导致将来出现异常。CUDA_VISIBLE_DEVICESHIP_VISIBLE_DEVICES

码头工人

开发中

Dockerfile.rocm为 TorchServe 提供初步的 ROCm 支持。

构建和运行 ：dev-image

docker build --file docker/Dockerfile.rocm --target dev-image -t torch-serve-dev-image-rocm --build-arg USE_ROCM_VERSION=rocm62 --build-arg BUILD_FROM_SRC=true .

docker run -it --rm --device=/dev/kfd --device=/dev/dri torch-serve-dev-image-rocm bash

示例用法

使用 ROCm 所需的依赖项安装 TorchServe 后，您应该可以为您的模型提供服务了。

有关简单示例，请参阅 。serve/examples/image_classifier/mnist/