痛点

查线上日志时，同一个 Pod 内多线程日志交错，很难追踪每个请求对应的日志信息。

日志收集工具将多个 Pod 的日志收集到同一个数据库中后，情况就更加混乱不堪了。

解决

TraceId + MDC

MDC：

 https://logback.qos.ch/manual/mdc.html

  • 前端每次请求时，添加 X-App-Trace-Id 请求头，X-App-Trace-Id 值的生成方式可以选择【时间戳 + UUID】，保证 traceId 的唯一性。
  • 后端在 TraceIdFilter 中取出 X-App-Trace-Id 的值：String traceId = httpServletRequest.getHeader(TRACE_ID_HEADER_KEY)。如果请求没有携带 X-App-Trace-Id 请求头，后端服务可以使用 UUID 或者 Snowflake 算法生成一个 traceId。
  • 将 traceId 塞到 slf4j MDC 中：MDC.put(MDC_TRACE_ID_KEY, traceId)，在 logback pattern 中使用 %X{traceId} 占位符打印 traceId。
public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain)
        throws IOException, ServletException {
    HttpServletRequest httpServletRequest = (HttpServletRequest) request;
    String traceId = httpServletRequest.getHeader(TRACE_ID_HEADER_KEY);
    if (StrUtil.isBlank(traceId)) {
        traceId = UUID.randomUUID().toString();
    }
    MDC.put(MDC_TRACE_ID_KEY, traceId);
    try {
        chain.doFilter(request, response);
    } finally {
        MDC.remove(MDC_TRACE_ID_KEY);
    }
}
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.
<?xml version="1.0" encoding="UTF-8"?>
<configuration debug="false">
    <property name="pattern" value="[%d{yyyy-MM-dd HH:mm:ss.SSS}] %-5level [%thread] %logger %line [%X{traceId}] [%tid] - %msg%n"/>
  • 1.
  • 2.
  • 3.
整合 Feign

发起服务间调用时，需要将 MDC 中的 traceId 传递到被调用服务。我们项目中统一使用 Feign Client，实现服务间的 HTTP 远程调用，在 Feign RequestInterceptor 中，取出 MDC 中的 traceId，塞到请求头中：requestTemplate.header(TRACE_ID_HEADER_KEY, MDC.get(MDC_TRACE_ID_KEY));

@Override
public void apply(RequestTemplate template) {
    template.header(TRACE_ID_HEADER_KEY, MDC.get(MDC_TRACE_ID_KEY));
}
  • 1.
  • 2.
  • 3.
  • 4.
多线程适配

Please note that MDC as implemented by logback-classic assumes that values are placed into the MDC with moderate frequency. Also note that a child thread does not automatically inherit a copy of the mapped diagnostic context of its parent.

在子线程执行任务前，将父线程的 MDC 内容设置到子线程的 MDC 中；在子线程任务执行完成后，清除子线程 MDC 中的内容。

适配 JDK ThreadPoolExecutor：

public class MdcAwareThreadPoolExecutor extends ThreadPoolExecutor {

    @Override
    public void execute(Runnable command) {
        Map<String, String> parentThreadContextMap = MDC.getCopyOfContextMap();
        super.execute(MdcTaskUtils.adaptMdcRunnable(command, parentThreadContextMap));
    }
}
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.

适配 Spring TaskDecorator：

@Component
public class MdcAwareTaskDecorator implements TaskDecorator {

    @Override
    public Runnable decorate(Runnable runnable) {
        Map<String, String> parentThreadContextMap = MDC.getCopyOfContextMap();
        return MdcTaskUtils.adaptMdcRunnable(runnable, parentThreadContextMap);
    }
}
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.

MdcTaskUtils#adaptMdcRunnable()：采用装饰者模式，装饰原生的 Runnable runnable 对象，在原生 Runnable 对象执行前，将父线程的 MDC 设置到子线程中，在原生 Runnable 对象执行结束后，清除子线程 MDC 中的内容。

@Slf4j
public abstract class MdcTaskUtils {

    public static Runnable adaptMdcRunnable(Runnable runnable, Map<String, String> parentThreadContextMap) {
        return () -> {
            log.debug("parentThreadContextMap: {}, currentThreadContextMap: {}", parentThreadContextMap,
                    MDC.getCopyOfContextMap());
            if (MapUtils.isEmpty(parentThreadContextMap) || !parentThreadContextMap.containsKey(MDC_TRACE_ID_KEY)) {
                log.debug("can not find a parentThreadContextMap, maybe task is fired using async or schedule task.");
                MDC.put(MDC_TRACE_ID_KEY, UUID.randomUUID().toString());
            } else {
                MDC.put(MDC_TRACE_ID_KEY, parentThreadContextMap.get(