TorchServe gRPC API

注意：当前的 TorchServe gRPC 不支持工作流。

TorchServe 还支持用于推理和管理调用的 gRPC API。

TorchServe 提供以下 gRPC API

• 推理 API

  • Ping ：获取正在运行的服务器的运行状况

  • Predictions ：从提供的模型获取预测

  • StreamPredictions ：从保存的模型获取服务器端流式预测

对于所有推理 API 请求，TorchServe 都需要包含正确的推理令牌，否则必须禁用令牌授权。有关更多详细信息，请参阅 Token 授权文档

• 管理 API

  • RegisterModel ：在 TorchServe 上提供 model/model-version

  • UnregisterModel ：通过从 TorchServe 取消注册特定版本的模型来释放系统资源

  • ScaleWorker：动态调整模型任何版本的工作线程数量，以更好地为不同的推理请求负载提供服务。

  • ListModels ：查询当前注册模型的默认版本

  • DescribeModel ：获取模型默认版本的详细运行时状态

  • SetDefault ：将模型的任何注册版本设置为默认版本

对于所有管理 API 请求，TorchServe 需要包含正确的管理令牌，或者必须禁用令牌授权。有关更多详细信息，请参阅 Token 授权文档

默认情况下，TorchServe 在 localhost 上的 gRPC 推理 API 端口 7070 和 gRPC 管理 API 端口 7071 上侦听。 要在不同的地址和端口上配置 gRPC API，请参阅配置文档

gRPC API 的 Python 客户端示例

使用 gRPC python 客户端从 TorchServe Model Zoo运行以下命令以注册、运行推理和注销 densenet161 模型。

• 安装 TorchServe

• Clone serve repo 运行此示例

git clone --recurse-submodules https://github.com/pytorch/serve
cd serve

• 安装 gRPC python 依赖项

pip install -U grpcio protobuf grpcio-tools googleapis-common-protos

• 启动 torchServe

mkdir models
torchserve --start --disable-token-auth --enable-model-api --model-store models/

• 使用 proto 文件生成 python gRPC 客户端存根

python -m grpc_tools.protoc -I third_party/google/rpc --proto_path=frontend/server/src/main/resources/proto/ --python_out=ts_scripts --grpc_python_out=ts_scripts frontend/server/src/main/resources/proto/inference.proto frontend/server/src/main/resources/proto/management.proto

• 注册 densenet161 模型

注意：要在 TorchServe 启动后使用此 API，必须启用模型 API 控制。在启动 TorchServe 时添加到命令行，以启用此 API 的使用。有关更多详细信息，请参阅模型 API 控制--enable-model-api

如果禁用了 Token 授权，请使用：

python ts_scripts/torchserve_grpc_client.py register densenet161

如果启用了 Token 授权，请使用：

python ts_scripts/torchserve_grpc_client.py register densenet161 --auth-token <management-token>

• 运行推理方式

如果禁用了 Token 授权，请使用：

python ts_scripts/torchserve_grpc_client.py infer densenet161 examples/image_classifier/kitten.jpg

如果启用了 Token 授权，请使用：

python ts_scripts/torchserve_grpc_client.py infer densenet161 examples/image_classifier/kitten.jpg --auth-token <inference-token>

• 注销 densenet161 模型

注意：要在 TorchServe 启动后使用此 API，必须启用模型 API 控制。在启动 TorchServe 时添加到命令行，以启用此 API 的使用。有关更多详细信息，请参阅模型 API 控制--enable-model-api

如果禁用了 Token 授权，请使用：

python ts_scripts/torchserve_grpc_client.py unregister densenet161

如果启用了 Token 授权，请使用：

python ts_scripts/torchserve_grpc_client.py unregister densenet161 --auth-token <management-token>

GRPC 服务器端流式处理

TorchServe GRPC API 添加了推理 API“StreamPredictions”的服务器端流，以允许通过同一 GRPC 流发送一系列推理响应。此新 API 仅建议用于完整响应的推理延迟较高且推理中间结果发送到客户端的使用案例。一个例子是生成式应用程序的 LLM，其中生成 “n” 个令牌可能会有很高的延迟，在这种情况下，用户可以在准备好后接收每个生成的令牌，直到完整响应完成。这个新的 API 会自动强制 batchSize 为 1。

service InferenceAPIsService {
    // Check health status of the TorchServe server.
    rpc Ping(google.protobuf.Empty) returns (TorchServeHealthResponse) {}

    // Predictions entry point to get inference using default model version.
    rpc Predictions(PredictionsRequest) returns (PredictionResponse) {}

    // Streaming response for an inference request.
    rpc StreamPredictions(PredictionsRequest) returns (stream PredictionResponse) {}
}

后端处理程序调用 “send_intermediate_predict_response” 将一个中间结果发送到前端，并将最后一个结果作为现有样式返回。例如

from ts.handler_utils.utils import send_intermediate_predict_response
''' Note: TorchServe v1.0.0 will deprecate
"from ts.protocol.otf_message_handler import send_intermediate_predict_response".
Please replace it with "from ts.handler_utils.utils import send_intermediate_predict_response".
'''

def handle(data, context):
    if type(data) is list:
        for i in range (3):
            send_intermediate_predict_response(["intermediate_response"], context.request_ids, "Intermediate Prediction success", 200, context)
        return ["hello world "]