登录 Torchserve¶

在本文档中，我们将介绍 TorchServe 中的日志记录。我们还解释了如何修改模型服务器中的日志记录行为。 TorchServe 中的日志记录还涵盖指标，因为指标会记录到文件中。要进一步了解如何自定义指标或定义自定义日志记录布局，请参阅 TorchServe 上的指标

先决条件¶

熟悉 log4j2 配置。有关如何配置 log4j 参数的信息，请参阅日志记录服务。
熟悉 TorchServe 使用的默认log4j2.xml。

日志类型¶

TorchServe 目前提供以下类型的日志

访问日志
TorchServe 日志

访问日志¶

这些日志收集对 TorchServe 的访问模式。访问日志的配置如下：

		<RollingFile
				name="access_log"
				fileName="${env:LOG_LOCATION:-logs}/access_log.log"
				filePattern="${env:LOG_LOCATION:-logs}/access_log.%d{dd-MMM}.log.gz">
			<PatternLayout pattern="%d{ISO8601} - %m%n"/>
			<Policies>
				<SizeBasedTriggeringPolicy size="100 MB"/>
				<TimeBasedTriggeringPolicy/>
			</Policies>
			<DefaultRolloverStrategy max="5"/>
		</RollingFile>

根据属性文件中的定义，访问日志收集在 {LOG_LOCATION}/access_log.log 文件中。当您使用模型加载 TorchServe 并针对服务器运行推理时，以下日志将收集到access_log.log中：

2018-10-15 13:56:18,976 [INFO ] BackendWorker-9000 ACCESS_LOG - /127.0.0.1:64003 "POST /predictions/resnet-18 HTTP/1.1" 200 118

上面的日志告诉我们，远程主机成功调用了，它花了 ms 来完成这个请求。POST/predictions/resnet-18127.0.0.1:64003118

这些日志对于确定 model-server 的当前性能以及了解 model-server 收到的请求很有用。

TorchServe 日志¶

这些日志从 TorchServe 和后端工作程序（自定义模型代码）收集所有日志。与 TorchServe 日志相关的默认配置如下：

		<RollingFile
				name="ts_log"
				fileName="${env:LOG_LOCATION:-logs}/ts_log.log"
				filePattern="${env:LOG_LOCATION:-logs}/ts_log.%d{dd-MMM}.log.gz">
			<PatternLayout pattern="%d{ISO8601} [%-5p] %t %c - %m%n"/>
			<Policies>
				<SizeBasedTriggeringPolicy size="100 MB"/>
				<TimeBasedTriggeringPolicy/>
			</Policies>
			<DefaultRolloverStrategy max="5"/>
		</RollingFile>

默认情况下，此配置会转储 level 以上的所有日志。DEBUG

生成自定义日志¶

您可能希望生成自定义日志。这可能是为了调试目的或记录任何错误。为此，请将所需的日志打印到。 TorchServe 捕获后端 worker 生成的日志，并将其记录到日志文件中。日志的一些示例如下：stdout/stderr

打印到 stderr 的消息：

2018-10-14 16:46:51,656 [WARN ] W-9000-stderr org.pytorch.serve.wlm.WorkerLifeCycle - [16:46:51] src/nnvm/legacy_json_util.cc:209: Loading symbol saved by previous version v0.8.0. Attempting to upgrad\
e...
2018-10-14 16:46:51,657 [WARN ] W-9000-stderr org.pytorch.serve.wlm.WorkerLifeCycle - [16:46:51] src/nnvm/legacy_json_util.cc:217: Symbol successfully upgraded!

打印到 stdout 的消息：

2018-10-14 16:59:59,926 [INFO ] W-9000-stdout org.pytorch.serve.wlm.WorkerLifeCycle - preprocess time: 3.60
2018-10-14 16:59:59,926 [INFO ] W-9000-stdout org.pytorch.serve.wlm.WorkerLifeCycle - inference time: 117.31
2018-10-14 16:59:59,926 [INFO ] W-9000-stdout org.pytorch.serve.wlm.WorkerLifeCycle - postprocess time: 8.52

修改日志的行为¶

要修改默认日志记录行为，请定义一个文件。有两种方法可以使用自定义日志启动 TorchServe：log4j2.xml

提供 config.properties¶

定义自定义文件后，将以下内容添加到文件中：log4j2.xmlconfig.properties

vmargs=-Dlog4j.configurationFile=file:///path/to/custom/log4j2.xml

然后启动 TorchServe，如下所示：

$ torchserve --start --ts-config /path/to/config.properties

或者

$ torchserve --start --log-config /path/to/custom/log4j2.xml

启用异步日志记录¶

如果您的模型是超轻量级的，并且您希望获得高吞吐量，请考虑启用异步日志记录。如果 TorchServe 意外终止，日志输出可能会延迟，并且最新的日志可能会丢失。默认情况下，异步日志记录处于禁用状态。要启用异步日志记录，请在中添加以下属性：config.properties

async_logging=true