ts.torch_handler 套餐

子包

• ts.torch_handler.request_envelope 包
  • 子模块
  • ts.torch_handler.request_envelope.base 模块
  • ts.torch_handler.request_envelope.body 模块
  • ts.torch_handler.request_envelope.json模块
  • ts.torch_handler.request_envelope.kserve 模块
  • ts.torch_handler.request_envelope.kservev2 模块
  • 模块内容
• ts.torch_handler.unit_tests 软件包
  • 子包
    • ts.torch_handler.unit_tests.models 软件包
      • 子模块
      • ts.torch_handler.unit_tests.models.base_model 模块
      • 模块内容
    • ts.torch_handler.unit_tests.test_utils 软件包
      • 子模块
      • ts.torch_handler.unit_tests.test_utils.mock_context 模块
      • 模块内容
  • 子模块
  • ts.torch_handler.unit_tests.test_base_handler 模块
  • ts.torch_handler.unit_tests.test_envelopes 模块
  • ts.torch_handler.unit_tests.test_image_classifier 模块
  • ts.torch_handler.unit_tests.test_image_segmenter 模块
  • ts.torch_handler.unit_tests.test_mnist_kf 模块
  • ts.torch_handler.unit_tests.test_object_detector 模块
  • 模块内容

子模块

ts.torch_handler.base_handler 模块

用于加载 torchscript 或 eager 模式 [state_dict] 模型的基本默认处理程序 此外，还提供每个手电筒服务的 handle 方法自定义模型规范

类 ts.torch_handler.base_handler 中。BaseHandler

基地：

用于加载 torchscript 或 eager 模式 [state_dict] 模型的基本默认处理程序 此外，还提供每个手电筒服务的 handle 方法自定义模型规范

describe_handle（

自定义描述处理程序

结果

字典响应。

返回类型：

dict （字典）

explain_handle（data_preprocess， raw_data）

Captum 说明处理程序

参数

• data_preprocess （Torch Tensor） – 要用于 captum 的预处理数据

• raw_data （list） – 要从请求中获取目标的未处理数据

结果

带有 explanations 响应的 dictionary 响应。

返回类型：

dict （字典）

get_device（）

获取设备

结果

自设备

返回类型：

字符串

handle（data， context）

默认处理程序的入口点。它从输入请求中获取数据并返回

输入的预测结果。

参数

• data （list） – 需要对其发出预测请求的输入数据。

• context （Context） – 它是一个 JSON 对象，包含与 Model Artifacts 参数。

结果

返回包含预测响应的字典列表。

返回类型：

列表

inference（*args， **kwargs)

initialize（context）

Initialize 函数加载 model.pt 文件并初始化模型对象。

首先尝试加载 torchscript，否则加载 Eager 模式state_dict基于模型。

参数

• context （context） – 它是一个包含信息的 JSON 对象

• 参数。（与模型工件有关）–

提升：

RuntimeError – 缺少 Runtime 错误时引发 Runtime 错误 model.py

postprocess（*args， **kwargs)

preprocess（*args， **kwargs)

ts.torch_handler.base_handler 中。setup_ort_session（model_pt_path， map_location）

ts.torch_handler.contractions 模块

文本分类模型的收缩图。

ts.torch_handler.densenet_handler 模块

图像分类默认处理程序模块

类 ts.torch_handler.densenet_handler 中。DenseNetHandler

基地：

DenseNetHandler 处理程序类。此处理程序采用图像 并返回该图像中对象的名称。

handle（data， context）

默认处理程序的入口点

inference（data， *args， **kwargs）

Override 自定义推理 :p aram data：Torch 张量，匹配模型输入形状 ：return： 预测输出为 Torch 张量

initialize（context）

首先尝试加载 torchscript，否则加载基于 state_dict 的模型

ts.torch_handler.densenet_handler 中。list_classes_from_module（module， parent_class=None）

解析用户定义的模块以获取其中的所有模型服务类。

参数

• 模块 –

• parent_class –

结果

模型服务类定义列表

ts.torch_handler.image_classifier 模块

图像分类默认处理程序模块

类 ts.torch_handler.image_classifier 中。ImageClassifier

基地：

ImageClassifier 处理程序类。此处理程序采用图像 并返回该图像中对象的名称。

get_max_result_classes（）

image_processing = Compose（ Resize（size=256， interpolation=bilinear， max_size=None， antialias=True） CenterCrop（size=（224， 224）） ToTensor（） Normalize（mean=[0.485， 0.456， 0.406]， std=[0.229， 0.224， 0.225]） ）

postprocess（*args， **kwargs)

set_max_result_classes（topk）

topk = 5

ts.torch_handler.image_segmenter 模块

图像分割默认处理程序模块

类 ts.torch_handler.image_segmenter 中。ImageSegmenter

基地：

ImageSegmenter 处理程序类。此处理程序获取一批图像 并将输出形状返回为 [N K H W]， 其中 N - 批量大小，K - 类数，H - 高度和 W - 宽度。

image_processing = Compose（ Resize（size=256， interpolation=bilinear， max_size=None， antialias=True） CenterCrop（size=（224， 224）） ToTensor（） Normalize（mean=[0.485， 0.456， 0.406]， std=[0.229， 0.224， 0.225]） ）

postprocess（data）

ts.torch_handler.object_detector 模块

对象检测默认处理程序模块

类 ts.torch_handler.object_detector 中。ObjectDetector

基地：

ObjectDetector 处理程序类。此处理程序采用图像 并分别返回检测到的类和边界框的列表

image_processing = Compose（ ToTensor（） ）

initialize（context）

Initialize 函数加载 model.pt 文件并初始化模型对象。

首先尝试加载 torchscript，否则加载 Eager 模式state_dict基于模型。

参数

• context （context） – 它是一个包含信息的 JSON 对象

• 参数。（与模型工件有关）–

提升：

RuntimeError – 缺少 Runtime 错误时引发 Runtime 错误 model.py

postprocess（data）

阈值 = 0.5

ts.torch_handler.text_classifier 模块

文本分类默认处理程序模块 不支持 BATCH！

类 ts.torch_handler.text_classifier 中。TextClassifier

基地：

TextClassifier 处理程序类。此处理程序采用文本 （字符串） 和 作为输入，并根据模型词汇表返回分类文本。

get_insights（text_preprocess， _， target=0）

计算 Captum 见解

参数

• text_preprocess （tensor） – 文本输入的张量

• _ (str）– 输入请求中指定的原始文本数据

• target （int） – 默认为 0，用户需要指定目标 以获取 Captum 解释。

结果

返回单词标记重要性的字典

返回类型：

(dict （字典）)

inference（data， *args， **kwargs）

推理请求是通过此函数和用户发出的 需要重写推理函数才能对其进行自定义。

参数

数据（Torch 张量）–

数据采用 Torch Tensor 的形式 其形状应与

Model Input 形状。

结果

返回模型的预测响应

在这个函数中。

返回类型：

（Torch张量）

ngrams = 2

postprocess（data）

后处理函数将预测响应转换为

Torchserve 兼容格式

参数

• data （Torch Tensor） – data 参数来自预测输出

• output_explain （None） （无） – 默认为 None。

结果

返回包含预测和解释的响应

（如果命中了 Endpoint）。它采用字典列表的形式。

返回类型：

(列表)

preprocess（data）

使用以下基本清理操作规范化 PyTorch 模型的输入文本：

• 删除 HTML 标签

• 所有文本均小写

• 扩展缩略词 [就像我 -> 我会，不要 -> 不要]

• 删除重音字符

• 删除标点符号

使用 source_vocab 将规范化文本转换为 tensor。

参数

data （str） – 输入数据为字符串形式

结果

执行预处理操作后返回 Text Tensor （str）：此函数中也返回原始输入

返回类型：

（张量）

ts.torch_handler.text_handler 模块

所有基于文本的默认处理程序的基本模块。 包含各种基于文本的实用程序方法

类 ts.torch_handler.text_handler 中。TextHandler

基地： ，

所有基于文本的默认处理程序的基类。 包含各种基于文本的实用程序方法

get_source_vocab_path（ctx）

get_word_token（input_tokens）

从文本构造单词标记

initialize（context）

加载模型并初始化必要的工件

summarize_attributions（署名）

汇总多次运行的归因

ts.torch_handler.vision_handler 模块

所有视觉处理器的基本模块

类 ts.torch_handler.vision_handler 中。VisionHandler

基地： ，

所有 vision 处理程序的基类

get_insights（tensor_data， _， target=0）

initialize（context）

Initialize 函数加载 model.pt 文件并初始化模型对象。

首先尝试加载 torchscript，否则加载 Eager 模式state_dict基于模型。

参数

• context （context） – 它是一个包含信息的 JSON 对象

• 参数。（与模型工件有关）–

提升：

RuntimeError – 缺少 Runtime 错误时引发 Runtime 错误 model.py

preprocess（*args， **kwargs)

模块内容