问题表现

服务器出现明显卡顿，cpu和内存占用大，重启xx容器后问题消失。

排查方法

step1 检查容器内存消耗

30s打印一次内容占用，24小时内，内存占用提高了0.17GB

nohup sudo sh stats.sh 2>&1 &

#!/bin/bash

while true; do
    docker stats --no-stream --format "table {{.Container}}\t{{.CPUPerc}}\t{{.MemUsage}}" | grep 5dc2b9d32f19 >> logs.txt
    sleep 30
done

step2 检查进程内存消耗

检查哪些进程的内存占用在增加

#!/bin/bash

# 输出文件
output_file="mem_usage_log.txt"

# 无限循环
while true; do
    # 临时文件用于存储未排序的进程内存使用情况
    temp_file=$(mktemp)

    # 获取每个进程的内存使用情况
    for pid in $(ls /proc | grep -E '^[0-9]+$'); do
        if [ -f /proc/$pid/status ]; then
            mem=$(grep VmRSS /proc/$pid/status | awk '{print $2}')
            name=$(ps -p $pid -o comm=)
            echo "$pid $name $mem" >> $temp_file
        fi
    done

    # 排序并格式化输出
    echo -e "Timestamp: $(date)" >> $output_file
    echo -e "PID\tProcess\tMemory(KB)" >> $output_file
    sort -n $temp_file | while read pid name mem; do
        echo -e "$pid\t$name\t$mem" >> $output_file
    done
    echo -e "\n" >> $output_file

    # 删除临时文件
    rm $temp_file

    # 等待30秒
    sleep 30
done

比较mem_usage_log.txt中的进程内存消耗增加和减少

step3 检查哪些对象的内存占用在增加

1） 使用 tracemalloc 库导出内存快照进行比对

tracemalloc 是一个用于对 Python 已申请的内存块进行 Debug 的工具，可为我们提供以下信息：

1. 定位对象分配内存的位置。
2. 按文件、按行统计python的内存块分配情况: 总大小、块的数量以及块平均大小。
3. 对比两个内存快照的差异，以便排查内存泄漏。

import tracemalloc
from datetime import datetime

class SaveMemView(BaseViewECS):
    async def get(self):
        try:
            snapshot = tracemalloc.take_snapshot()
            # 保存快照到文件
            now = datetime.now()
            timestamp_str = now.strftime('%Y%m%d%H%M%S%f')[:-3]
            snapshot_file = f'tracemalloc-{timestamp_str}'
            snapshot.dump(snapshot_file)
            self.show_memory(timestamp_str)
            return self.common_success_response('')
        except Exception as e:
            return self.common_error_response(biz_error_msg=traceback.format_exc())

调用接口导出内存快照

curl 'http://127.0.0.1:12080/api/mem_check/start/'
curl 'http://127.0.0.1:12080/api/mem_check/save/'
curl 'http://127.0.0.1:12080/api/mem_check/stop/'

快照比对

import tracemalloc
snapshot_file1 = 'tracemalloc-20240512180542633'
loaded_snapshot1 = tracemalloc.Snapshot.load(snapshot_file1)

snapshot_file2 = 'tracemalloc-20240513010654228'
loaded_snapshot2 = tracemalloc.Snapshot.load(snapshot_file2)

# 分析快照，例如输出前10个最大的内存块
top_stats = loaded_snapshot2.compare_to(loaded_snapshot1, 'lineno')

for stat in top_stats[:10]:
    print(stat)

对比结果

2）使用py-spy

Py-Spy 是一个强大的 Python 程序性能分析工具，能够在运行程序的同时对其进行采样分析，而且无需修改源代码或重新启动进程。它可以帮助开发者理解和优化 Python 程序的性能。

py-spy git仓库

使用方法

3）使用 gc库

gc（garbage collector）是Python 标准库，该module提供垃圾回收相对应的接口。通过这个module，可以开关gc、调整垃圾回收的频率、输出调试信息

import gc
import sys

def show_memory(self, timestamp_str):
    object_list = []
    for obj in gc.get_objects():
        size = sys.getsizeof(obj)
        object_list.append((obj,size))
    sorted_values = sorted(object_list,
                           key=lambda x: x[1],
                           reverse=True)

    file_path = f"gc-{timestamp_str}.txt"
    with open(file_path, 'w', encoding='utf-8') as f:
        for obj, size in sorted_values[:10]:
            f.write(f"OBJ: {id(obj)}, "
                    f"TYPE: {type(obj)}, "
                    f"SIZE: {size / 1024 / 1024:.2f} MB, "
                    f"REPR: {str(obj)[:100]}, "
                    f"LEN: {len(sorted_values)}\n")

对应的结果