ts.metrics 软件包

子模块

ts.metrics.dimension 模块

模型服务器指标的 Dimension 类

类 ts.metrics.dimension 的 Dimension。维度（名称、值）

基地：object

定义键值对的维度类

to_dict（）

返回字典

ts.metrics.metric 模块

模型服务器的度量类

类 ts.metrics.metric 的 Metric 中。量度（名称、值、单位、维度、request_id=无、metric_method=无）

基地：object

用于生成指标并将其打印到 worker 的 stdout 的类

reset（

将 Metric value 重置为 0

to_dict（）

返回一个 Ordered Dictionary

update（value）

Metric 类的更新函数

参数

value （int， float） – 要更新的指标

ts.metrics.metric_collector 模块

系统指标和进程指标脚本的单一起点

ts.metrics.metric_encoder 模块

用于 json 转储的 Metric Encoder 类

ts.metrics.metric_encoder 类。MetricEncoder（*， skipkeys =False， ensure_ascii=True， check_circular=True， allow_nan=True， sort_keys=False， indent=None， separators=None， default=None）

基地：JSONEncoder

用于 json 编码 Metric Object 的 Encoder 类

default（obj）

仅当对象为 Metric 类型时覆盖

ts.metrics.metrics_store模块

指标采集模块

ts.metrics.metrics_store 类。MetricsStore（request_ids， model_name）

基地：object

荒废的 用于创建、修改不同指标的类。并将它们保存在字典中

add_counter（name， value， idx=None， dimensions=None）

添加计数器指标或增加现有计数器指标

参数

• name （str） – 指标名称

• value （int） – 指标的值

• idx （int） – 批量request_id索引

• dimensions （list） – 指标的维度列表

add_error（name， value， dimensions=None）

添加错误指标 :p aram name：指标名称 ：type name： str :p aram value：metric 的值，在本例中为 str ：type 值： str :p aram dimensions：量度的维度列表 ：type dimensions： list

add_metric（名称、值、单位、idx=无、dimensions=无）

添加具有自定义量度的通用量度

参数

• name （str） – 指标名称

• value （int， float） – 度量值

• idx （int） – 批量request_id索引

• unit （str） – 公制单位

• dimensions （list） – 指标的维度列表

add_percent（name， value， idx=None， dimensions=None）

添加基于百分比的量度

参数

• name （str） – 指标名称

• value （int， float） – 度量值

• idx （int） – 批量request_id索引

• dimensions （list） – 指标的维度列表

add_size（名称、值、idx=无、单位='MB'、dimensions=无）

添加基于大小的量度

参数

• name （str） – 指标名称

• value （int， float） – 度量值

• idx （int） – 批量request_id索引

• unit （str） – 公制单位，此处默认为 'MB'、'kB'、'GB'

• dimensions （list） – 指标的维度列表

add_time（name， value， idx=None， unit='ms'， dimensions=None）

添加基于时间的指标，如 latency，默认单位为 'ms'

参数

• name （str） – 指标名称

• value （int） – 指标的值

• idx （int） – 批量request_id索引

• unit （str） - 公制单位，这里默认是ms，s也被接受

• dimensions （list） – 指标的维度列表

ts.metrics.process_memory_metric 模块

在此处收集进程内存使用情况指标 传递 json、pids 和 gpuID 的集合

ts.metrics.process_memory_metric。check_process_mem_usage（stdin）

结果

mem_utilization

返回类型：

浮

ts.metrics.process_memory_metric。get_cpu_usage（pid）

将 psutil 用于 CPU 内存 :p aram pid： str ：return： 整数

ts.metrics.system_metrics模块

用于收集前端系统指标的模块

ts.metrics.system_metrics。collect_all（mod， num_of_gpu）

收集所有系统指标。

参数

• 模组 –

• num_of_gpu –

结果

ts.metrics.system_metrics。cpu_utilization（）

ts.metrics.system_metrics。disk_available（）

ts.metrics.system_metrics。disk_used（）

ts.metrics.system_metrics。disk_utilization（）

ts.metrics.system_metrics。gpu_utilization（num_of_gpu）

收集 GPU 指标。

参数

num_of_gpu –

结果

ts.metrics.system_metrics。memory_available（）

ts.metrics.system_metrics。memory_used（）

ts.metrics.system_metrics。memory_utilization（）

ts.metrics.unit 模块

定义 Unit 映射的模块

类 ts.metrics.unit 的 API 中。单位

基地：object

定义元素单元

模块内容

这是所有 python 工作线程指标的文件夹。