Metaspace内存溢出排查思路、定位、工具与解决

Metaspace内存溢出排查思路、定位、工具与解决

背景：线上项目，每天约50w笔交易请求，每隔两周需要重启一次，发生过几次cpu飙升，无响应的情况。

故障分析：

1.首先排查cpu飙升的原因，根据cat定位cpu飙升开始阶段存在大量gc情况（每分钟7w次），初步定位内存泄露。

2.排查应用日志里oom 类似日志，发现爆 metaspace 溢出。

3.因故障后第一时间进行了重启，并未dump日志，第一时间无法分析

4.事后第三天使用dump内存（/app/jdk1.8.0_121/bin/jmap -dump:format=b,file=1.dump 54），并使用jvisualvm工具对内存对象进行排查。排查思路：寻找数量很多但没有实例的class。

发现存在大量：com.xxx.yyy.credit.biz.common.Item$JaxbAccessorM_getValue_setValue_java_lang_String 而且实例数为0

 

根据代码定位为工具类引起，如下红色部分代码，每次调用都生成新的instance。

public static String convertToXml(Object obj, String encoding) {
    String result = null;
    try {
        JAXBContext context = JAXBContext.newInstance(obj.getClass());
        Marshaller marshaller = context.createMarshaller();
        marshaller.setProperty(Marshaller.JAXB_FORMATTED_OUTPUT, true);
        marshaller.setProperty(Marshaller.JAXB_ENCODING, encoding);

        StringWriter writer = new StringWriter();
        marshaller.marshal(obj, writer);
        result = writer.toString();
    } catch (Exception e) {
        log.error("转换为xml异常", e);
    }
    return result;
}

5.修复验证，修复并做压测，观察metaspace持续无增涨。