ts.model_service 套餐

子模块

ts.model_service.model_service 模块

ModelService 为基础模型服务定义了一个 API。

类 ts.model_service.model_service 中。ModelService（model_name， model_dir， manifest， gpu=None）

基地：object

ModelService 包装了所有的预处理、推理和后处理 Model Service 使用的函数。它以灵活的方式定义为 可以轻松扩展以支持不同的框架。

handle（data， context）

向后兼容的手柄功能。

参数

• 数据 –

• 背景 –

结果

抽象推理（数据）

用于运行前处理、推理和后处理函数的包装器函数。

参数

data （list of object） （数据对象列表） – 请求的原始输入。

结果

要发回的数据

返回类型：

要发送回客户端的输出列表。

initialize（context）

内部初始化 ModelService。

参数

context – MMS 上下文对象

结果

摘要 ping（

Ping 以获取系统的运行状况。

结果

一条消息 “health”： “healthy！”，用于显示系统运行状况良好。

返回类型：

字符串

signature（

模型服务的签名。

结果

模型服务签名。

返回类型：

字典

类 ts.model_service.model_service 中。SingleNodeService（model_name， model_dir， manifest， gpu=None）

基地：ModelService

SingleNodeModel 为模型服务定义抽象，该服务加载 单一型号。

推理（数据）

用于运行预处理、推理和后处理函数的包装函数。

参数

data （list of object） （数据对象列表） – 请求的原始输入。

结果

要发回的数据

返回类型：

要发送回客户端的输出列表。

模块内容

模型服务代码