目录

故障排除指南

有关使用 Torchserve 部署 Pytorch 模型时面临的常见问题及其相应的故障排除步骤,请参阅本节。

部署和配置问题

“Failed to bind to address: ”,端口 8080/8081 已在使用中。http://127.0.0.1:8080

通常,端口号 8080/8081 已经被其他应用程序或服务使用,可以使用 cmd 进行验证。有两种方法可以解决这个问题,要么杀死使用端口8080/8081的进程,要么在除8080和8081的不同端口上运行Torchserve。ss -ntl | grep 8080

有关详细信息,请参阅 configuration.md

相关问题: [542]

启动 Torchserve 时出现 “java.lang.NoSuchMethodError”。[473]

此错误通常在未安装或使用 Java 17 时发生。Torchserve 需要 Java 17,不支持较旧的 Java 版本。

相关问题:[#473]

无法发送大文件进行推理请求?

默认最大请求大小和响应大小约为 6.5 Mb。因此,无法上传任何大于 6.5 MB 的文件大小。 要解决此更新,请在 config.properties 文件中使用此配置文件启动 torchserve。max_request_sizemax_response_size

$ cat config.properties
max_request_size=<request size in bytes>
max_response_size=<response size in bytes>
$ torchserve --start --model-store model_store --ts-config /path/to/config.properties

您还可以使用环境变量来设置这些值。 有关详细信息,请参阅 configuration.md。 相关问题:[#335]

模型存档器

如何添加特定于模型的自定义依赖项?

您可以在创建 mar 文件时使用 flag 添加依赖项文件。这些依赖项文件可以是任何类型的,如 zip、egg、json 等。您可能必须编写自定义处理程序才能根据需要使用这些文件。--extra-files

相关问题:[#566]

如何解决特定于模型的 python 依赖项?

您可以在使用 “–requirements-file/ -r” 标志创建 mar 文件时提供requirements.txt。您可以参考 waveglow 文本到语音合成器示例

相关问题:[#566] 有关更多详细信息,请参阅 Torch 模型存档器 cli

我在 mar 文件中添加了requirements.txt,但列出的软件包没有安装。

默认情况下,特定于模型的自定义 python 包功能处于禁用状态,通过将 install_py_dep_per_model 设置为 true 来启用此功能。 有关更多详细信息,请参阅 允许特定于模型的自定义 python 包

后端工作线程监控线程中断或后端工作进程死亡错误。

此问题主要发生在模型初始化失败时,这可能是由于 handler 的 initialize 函数中的代码错误。当缺少包/模块时,也会观察到此错误。

相关问题:[#667#537]

文档

访问 PyTorch 的全面开发人员文档

查看文档

教程

获取面向初学者和高级开发人员的深入教程

查看教程

资源

查找开发资源并解答您的问题

查看资源