TorchServe 模型快照

TorchServe 跨会话保留服务器运行时配置，以便遇到计划内或计划外服务停止的 TorchServe 实例可以在重新启动时恢复其状态。

注意：当前快照不支持工作流。

TorchServe 的快照包括以下内容：

• 服务器配置，包括：哪些模型正在运行，这些模型的哪些版本，以及每个模型有多少个工作线程处于活动状态。

• 首次启动 TorchServe 时使用的默认服务器配置。

在以下实例中拍摄快照 -

• 成功启动后，服务器将其当前配置存储在带时间戳的快照文件 ./logs/config/-startup.cfg 中

• 如果用户以更改服务器运行时配置的方式调用管理 API，则快照将保存到 ./logs/config/-snapshot.cfg

• 当 服务器被有意关闭时，快照将保存到 ./logs/configs/-shutdown.cfgtorchserve --stop

用户可以使用快照来恢复 TorchServe 的状态，如下所示：

• 如果在启动 TorchServe 时没有提供带有标志的配置文件，则使用 ./logs/configs 中的最后一个快照进行启动。--ts-config-file

• 如果未提供带有标志的配置文件，并且没有可用的快照，则 TorchServe 以默认配置启动。--ts-config-file

• 用户重新启动服务器，指定此配置文件：torchserve --start --model-store <model store> --ts-config <known good config snapshot>

如果用户希望在没有此弹性功能的情况下启动，则用户可以使用以下命令启动服务器：

torchserve --start --model-store <model store> --no-config-snapshots

这可以防止 server 存储 config snapshot 文件。

默认情况下，快照位于 directory 中，其中 是 TorchServe 可以使用的系统环境变量。如果未设置此变量，则快照将存储在 directory{LOG_LOCATION}\config{LOG_LOCATION}.\log\config

注 ：

1. 如果从快照还原，则在启动 TorchServe 时在 –models 参数中传递的模型将被忽略。

2. 对于 Windows，如果未生成 shutdown snapshot file，则可以使用最后一个快照文件。