服务

这些组件旨在更轻松地与推理和服务进行交互 Torchserve 等工具。

torchx.components.serve 中。torchserve（model_path： str， management_api： str， image： str = 'ghcr.io/pytorch/torchx:0.1.0.dev1'， params： 可选[Dict[str， object]] = None） → torchx.specs.api.AppDef

将提供的模型部署到给定的 torchserve 管理 API 端点。

>>> from torchx.components.serve import torchserve
>>> torchserve(
...     model_path="s3://your-bucket/your-model.pt",
...     management_api="http://torchserve:8081",
... )
AppDef(name='torchx-serve-torchserve', ...)

参数

• model_path – 模型存档文件的 fsspec 路径。

• management_api — torchserve 管理 API 根目录的 URL。

• image – 要使用的容器。

• params — torchserve 参数。 请参阅 https://pytorch.org/serve/management_api.html#register-a-model

返回

Torchx 应用程序定义

返回类型

规格。应用定义