TS 包

子包

• ts.metrics 软件包
  • 子模块
  • ts.metrics.dimension 模块
  • ts.metrics.metric 模块
  • ts.metrics.metric_collector 模块
  • ts.metrics.metric_encoder 模块
  • ts.metrics.metrics_store模块
  • ts.metrics.process_memory_metric 模块
  • ts.metrics.system_metrics模块
  • ts.metrics.unit 模块
  • 模块内容
• ts.model_service 套餐
  • 子模块
  • ts.model_service.model_service 模块
  • 模块内容
• ts.protocol 软件包
  • 子模块
  • ts.protocol.otf_message_handler 模块
  • 模块内容
• ts.torch_handler 套餐
  • 子包
    • ts.torch_handler.request_envelope 包
      • 子模块
      • ts.torch_handler.request_envelope.base 模块
      • ts.torch_handler.request_envelope.body 模块
      • ts.torch_handler.request_envelope.json模块
      • ts.torch_handler.request_envelope.kserve 模块
      • ts.torch_handler.request_envelope.kservev2 模块
      • 模块内容
    • ts.torch_handler.unit_tests 软件包
      • 子包
      • 子模块
      • ts.torch_handler.unit_tests.test_base_handler 模块
      • ts.torch_handler.unit_tests.test_envelopes 模块
      • ts.torch_handler.unit_tests.test_image_classifier 模块
      • ts.torch_handler.unit_tests.test_image_segmenter 模块
      • ts.torch_handler.unit_tests.test_mnist_kf 模块
      • ts.torch_handler.unit_tests.test_object_detector 模块
      • 模块内容
  • 子模块
  • ts.torch_handler.base_handler 模块
  • ts.torch_handler.contractions 模块
  • ts.torch_handler.densenet_handler 模块
  • ts.torch_handler.image_classifier 模块
  • ts.torch_handler.image_segmenter 模块
  • ts.torch_handler.object_detector 模块
  • ts.torch_handler.text_classifier 模块
  • ts.torch_handler.text_handler 模块
  • ts.torch_handler.vision_handler 模块
  • 模块内容
• ts.utils 软件包
  • 子模块
  • ts.utils.timeit_decorator模块
  • ts.utils.util 模块
  • 模块内容

子模块

ts.arg_parser模块

此模块解析通过 torchserve 命令行给出的参数。这由 model-server 使用 在运行时。

ts.arg_parser 类。ArgParser

基地：

torchserve 和 torchserve-export 命令的参数解析器 TODO ： 添加自述文件 url

static extract_args（args=None）

静态 model_service_worker_args（

ArgParser 用于后端 worker。采用套接字名称和套接字类型。 ：返回：

静态 ts_parser（

torchserve 启动服务的参数解析器

ts.context 模块

传入请求的 Context 对象

类 ts.context 中。上下文（model_name、model_dir、清单、batch_size、gpu、mms_version、limit_max_image_pixels=True、指标=无，model_yaml_config=无）

基地：

Context 存储与模型相关的 worker 信息 有些在加载期间是固定的，有些则由服务设置

get_all_request_header（idx： int） → Dict[str， str]

get_request_header（idx： int， key： str） → 可选[str]

get_request_id（idx： int = 0） → 可选[str]

get_response_content_type（idx： int） → 可选[str]

get_response_headers（idx： int） → Dict[str， str]

get_response_status（idx： int） → Tuple[int， str]

get_sequence_id（idx： int） → str

属性指标

属性 request_processor

set_all_response_status（代码： int = 200， 短语： str = ''） → 没有

设置单个请求的状态代码 :p aram 短语： :p aram 代码： ：返回：

set_response_content_type（idx： int， value： str） → None

set_response_header（idx， key， value）

set_response_status（代码： int = 200， 短语： str = ''， idx： int = 0）

设置单个请求的状态代码 :p aram 短语： :p aram idx： 发送到 handle（） 方法的 list（data） 中的索引数据 :p aram 代码： ：返回：

属性 system_properties

类 ts.context 中。RequestProcessor（request_header： dict）

基地：

请求处理器

add_response_property（键：str，值：str）→无

get_request_properties（） → dict

get_request_property（key： str） → 可选[str]

get_response_header（key： str） → 可选[str]

get_response_headers（） → dict

get_response_status_code（） → int

get_response_status_phrase（） → 可选[str]

report_status（code， reason_phrase=None） → None

ts.model_loader模块

模型加载器。

ts.model_loader 类。ModelLoader

基地：

Base Model Loader 类。

抽象 load（model_name： str， model_dir： str， handler： 可选[str] = 无，gpu_id：可选[int] = 无，batch_size： 可选[int] = 无，信封：可选[str] = 无，limit_max_image_pixels：可选[bool] = True）

从文件加载模型。

参数

• model_name –

• model_dir –

• handler （处理程序） –

• gpu_id –

• batch_size –

• 信封 –

• limit_max_image_pixels –

结果

型

ts.model_loader 类。ModelLoaderFactory

基地：

静态 get_model_loader（

ts.model_loader 类。TsModelLoader

基地：

TorchServe 1.0 模型加载器

load（model_name： str， model_dir： str， handler： 可选[str] = 无，gpu_id：可选[int] = 无，batch_size：可选[int] = 无，信封：可选[str] = 无，limit_max_image_pixels： 可选[bool] = true，metrics_cache： 可选[MetricsCacheYamlImpl] = 无）→服务

从文件加载 TorchServe 1.0 模型。

参数

• model_name –

• model_dir –

• handler （处理程序） –

• gpu_id –

• batch_size –

• 信封 –

• limit_max_image_pixels –

• metrics_cache – MetricsCacheYamlImpl 对象

结果

ts.model_server模块

用于定义 Model Server 入口点的文件

ts.model_server。load_properties（file_path： str） → Dict[str， str]

将属性文件读入 map。

ts.model_server。start（） → None

这是 Model Server 的入口点 ：返回：

ts.model_service_worker模块

ModelServiceWorker 是由 MMS 前端启动的工作程序。 通信消息格式：二进制编码

ts.model_service_worker 类。TorchModelServiceWorker（s_type： 可选[str] = 无， s_name： 可选[str] = 无，host_addr：可选[str] = 无，port_num： 可选[int] = 无，metrics_config：可选[str] = 无，async_comm：可选[bool] = False）

基地：

用于处理 Model Server 的 python 服务代码的后端工作程序

handle_connection（cl_socket）

手柄插槽连接。

参数

cl_socket –

结果

handle_connection_async（cl_socket）

手柄插槽连接。

参数

cl_socket –

结果

load_model（load_model_request）

预期命令 {

“command” ： “load”， 字符串 “modelPath” ： “/path/to/model/file”， 字符串 “modelName” ： “name”， 字符串 “gpu” ： 如果 CPU else gpu_id， int 则无 “handler” ： 服务处理程序入口点（如果提供）、字符串 “envelope” ： 请求数据的包装器/解包装器名称（如果提供），字符串 “batchSize” ： 批量大小，int “limitMaxImagePixels”： 限制枕头图像 max_image_pixels，bool

}

参数

load_model_request –

结果

run_server（）

运行 backend worker 进程并侦听套接字 ：返回：

ts.service 模块

CustomService 类定义

类 ts.service 中。Service（model_name， model_dir， manifest， entry_point， gpu， batch_size， limit_max_image_pixels=True， metrics_cache=没有）

基地：

自定义entry_point包装器

property 上下文

predict（batch）

预测命令 = {

“command”： “预测”， “批处理”： [ REQUEST_INPUT ]

} :p aram batch：请求列表 ：返回：

static retrieve_data_for_inference（batch）

REQUEST_INPUT = {

“requestId”： “111-222-3333”， /请求 ID “参数” ： [ 参数 ]

}

参数 = {

“name” ： 参数名称 “contentType”： “http-content-types”， / “值”： “值 1”

}

参数

批次 –

结果

set_cl_socket（cl_socket）

ts.service 的 API 服务。emit_metrics（指标）

发出提供的 Dictionary 中的指标

参数

• metrics （所有字典） –

• 计量指标 –

• metric_name （当 key 为 时） –

• 对象 （value 是一个指标） –

ts.version 模块

这是 TorchServe 的当前版本

模块内容

此模块执行以下操作： a. 启动 model-server。 b.根据配置的模型创建端点。 c. 公开标准的“ping”和“api-description”端点。 d. 等待处理推理请求。