请求信封¶
许多模型服务系统为请求正文提供签名。示例包括:
数据科学家使用这些多框架系统来管理许多不同模型的部署,这些模型可能以不同的语言和框架编写。这些平台在模型服务的基础上提供额外的分析,包括偏差检测、解释和 A/B 测试。这些平台需要一个结构良好的签名,以便跨不同框架标准化调用并理解输入数据。但是,为了简化对许多框架的支持,这些平台将简单地将请求正文传递给底层模型服务器。
Torchserve 目前没有固定的请求正文签名。包络允许您自动从模型编排器所需的固定签名转换为平面 Python 列表。
用法¶
编写处理程序时,始终需要一个包含准备进入的数据的纯 Python 列表。至关重要的是,您应该假设您的处理程序代码在本地或模型编排器中看起来相同。
preprocess
当您在模型编排器后面部署 Torchserve 时,请确保在文件中设置相应的 Torchserve。例如,如果您使用的是具有 JSON 格式的 Google Cloud AI Platform,则需要添加到您的文件中。
service_envelope
config.properties
service_envelope=json
config.properties
贡献¶
在 ts/torch_handler/request_envelope 下添加新文件。每个文件仅包含一个类。in 中使用的键将是你在其中编写类的 .py 文件的名称。config.properties