ts.torch_handler.request_envelope 包

子模块

ts.torch_handler.request_envelope.base 模块

所有 RequestEnvelope 的基类。

请求信封会重新格式化对处理程序的调用的 inputs/outputs。 它从特定于模型编排器的格式（如 Seldon 或 KServe 设置为一组平面 Python 项，反之亦然。

类 ts.torch_handler.request_envelope.base。BaseEnvelope（handle_fn）

基地：

所有包络的接口。 从此类派生，替换抽象方法

摘要 format_output（数据）

handle（data， context）

输入请求和响应在此处处理。

摘要 parse_input（数据）

ts.torch_handler.request_envelope.body 模块

所有处理程序的默认类。从请求正文中获取数据。

类 ts.torch_handler.request_envelope.body 中。BodyEnvelope（handle_fn）

基地：

从输入数据中获取键 “body”，返回原始列表

format_output（数据）

parse_input（数据）

ts.torch_handler.request_envelope.json模块

使用 JSON 格式的输入/输出，遵循 https://www.tensorflow.org/tfx/serving/api_rest 中概述的结构

ts.torch_handler.request_envelope.json 类。JSONEnvelope（handle_fn）

基地：

实现。以 JSON 格式捕获批处理，返回 也采用 JSON 格式。

format_output（数据）

parse_input（数据）

ts.torch_handler.request_envelope.kserve 模块

KServe 包络用于处理 KServe 在 Torchserve 中输入请求。

类 ts.torch_handler.request_envelope.kserve。KServeEnvelope（handle_fn）

基地：

此函数用于处理 kserve 中指定的输入请求 格式并将其转换为 Torchserve 可读格式。

参数

格式 （data - kserve 中的输入请求列表） –

结果

返回 Torchserve 格式的输入请求列表

返回类型：

[列表]

format_output（数据）

返回输入请求的预测响应和 captum 解释响应。

参数

outputs （List） – outputs参数采用字典列表的形式。

结果

响应以预测和解释列表的形式返回

返回类型：

(列表)

parse_input（数据）

ts.torch_handler.request_envelope.kservev2 模块

KServe 包络用于处理 KServe 在 Torchserve 中输入请求。

类 ts.torch_handler.request_envelope.kservev2 中。KServev2Envelope（handle_fn）

基地：

实现。以 KServe v2 协议格式捕获批处理，返回 也采用 FServing v2 协议格式。

format_output（数据）

转换 Torchserve 输出 KServe v2 响应格式。

参数： data （list）：处理程序的 Torchserve 响应。

返回： KServe v2 响应 json。 {

“id”： “f0222600-353f-47df-8d9d-c96d96fa894e”， “model_name”： “伯特”， “model_version”： “1”， “输出”： [{

“name”： “input-0”， //名称 “形状”： [1]， “数据类型”： “INT64”， “data”：[2]

}]

}

parse_input（数据）

将 KServe 请求输入转换为 Torchserve 所需的数据列表。

参数： data （json）：KServe v2 请求输入 json。 {

“inputs”： [{

“name”： “input-0”， //名称 “形状”：[37]， “数据类型”： “INT64”， “数据”：[66、108、111、111、109]

}]

}

返回： 数据对象列表。 [{ 'name'： 'input-0'， ///名称 '形状'： [5]， '数据类型'： 'INT64'， '数据'：[66， 108， 111， 111， 109] }]

模块内容