前言

在近期项目安全架构设计中，我们针对请求加解密需求进行了技术方案选型。考虑到未来接口安全策略可能会进行动态调整，最终决定在 API 网关层实现统一的加解密模块。

方案实施过程中发现一个关键问题：当请求体经过加解密过滤器处理后，会导致调用链追踪标识（traceId）丢失。

问题排查

全局过滤器实现实现 GlobalFilter 接口，在 filter 方法中对响应体进行加密

public class RespEncryptFilter implements GatewayFilter, Ordered {

    private int order;

    @Override
    public Mono<Void> filter(ServerWebExchange exchange, GatewayFilterChain chain) {
        String bgDebug = exchange.getAttributeOrDefault(ConstantFilter.BG_DEBUG_KEY, ConstantFilter.REQ_RES_ENCRYPT);
        ServerHttpResponse originalResponse = exchange.getResponse();
        DataBufferFactory bufferFactory = originalResponse.bufferFactory();
        ServerHttpResponseDecorator decoratedResponse = new ServerHttpResponseDecorator(originalResponse) {
            
            @Override
            public Mono<Void> writeWith(Publisher<? extends DataBuffer> body) {
                if (body instanceof Flux) {
                    Flux<? extends DataBuffer> fluxBody = (Flux<? extends DataBuffer>) body;
                    return super.writeWith(fluxBody.buffer().map(dataBuffer -> {
                        DataBufferFactory dataBufferFactory = new DefaultDataBufferFactory();
                        DataBuffer join = dataBufferFactory.join(dataBuffer);

                        byte[] content = new byte[join.readableByteCount()];
                        join.read(content);
                        //释放掉内存
                        DataBufferUtils.release(join);
                        // 正常返回的数据
                        String rootData = new String(content, Charset.forName("UTF-8"));
                        byte[] respData = rootData.getBytes();

                        if(ConstantFilter.REQ_RES_ENCRYPT.equals(bgDebug)){
                            // 对数据进行加密
                            String randomKey = AESUtil.getRandomKey();
                            String encryptData = AESUtil.AESEncrypt(rootData, randomKey, "CBC");
                            String encryptRandomKey = RSAUtils.publicEncrypt(randomKey);
                            JSONObject json = new JSONObject();
                            json.put("k", encryptRandomKey);
                            json.put("v", encryptData);
                            log.info("加密后数据：{}",json.toJSONString())
                            respData = json.toJSONString().getBytes();
                        }

                        // 加密后的数据返回给客户端
                        byte[] uppedContent = new String(respData, Charset.forName("UTF-8")).getBytes();
                        return bufferFactory.wrap(uppedContent);
                    }));
                }
                return super.writeWith(body);
            }
        };
        return chain.filter(exchange.mutate().response(decoratedResponse).build());
    }

    @Override
    public int getOrder() {
        return this.order;
    }

    public AppRespEncryptFilter(int order){
        this.order = order;
    }
}

我的日志格式如下:

<property name="pattern">[TRACEID=%X{traceId}] %d{HH:mm:ss.SSS} %-5level %class{-1}.%M()/%L - %msg%xEx%n</property>

查看打印的日志，发现 TRACEID 并没有打印:

[TRACEID=]12:56:22.123-INFO 加密后数据：{"k":"xxxxx","v":"xxxxx"}

我们先了解下 TRACEID 打印的原理

traceId 的打印主要涉及MDC（Mapped Diagnostic Context）机制和日志框架的配合使用。
MDC（Mapped Diagnostic Context，映射调试上下文）是 log4j 、logback及log4j2 提供的一种方便在多线程条件下记录日志的功能。MDC 可以看成是一个与当前线程绑定的哈希表，可以往其中添加键值对。MDC 中包含的内容可以被同一线程中执行的代码所访问。当前线程的子线程会继承其父线程中的 MDC 的内容。当需要记录日志时，只需要从 MDC 中获取所需的信息即可。MDC 的内容则由程序在适当的时候保存进去。

也就是说TRACEID 是和线程绑定的。

我们再看下gateway的原理

Spring Cloud Gateway，它基于WebFlux，WebFlux是Spring Framework 5.0中引入的响应式Web框架，，这是一种基于数据流和变化传播的编程范式。在响应式编程中，数据被视为一种流，可以异步地、非阻塞地处理。这种模型能够更好地利用系统资源，提高应用程序的吞吐量和响应性。

1. 异步非阻塞I/O WebFlux基于Reactor库实现，该库遵循Reactive Streams规范，提供高效的异步非阻塞数据处理能力。通过Reactor的Mono和Flux类型，WebFlux能够以数据流的形式处理请求与响应，实现完全的异步编程模型。
2. 线程模型 WebFlux默认集成Netty作为底层服务器框架。Netty采用异步事件驱动架构，通过少量线程即可支撑高并发连接。其核心的事件循环(EventLoop)机制负责处理网络Channel的全生命周期事件，包括连接建立、数据读写等关键操作。
3. 请求处理流程
4. 请求接收：客户端请求到达时，Netty的EventLoop将其封装为ServerHttpRequest对象
5. 请求处理：WebFlux路由将请求递交给对应处理器，处理器返回Mono或Flux表示异步处理结果
6. 响应生成：处理器完成业务逻辑后，构建Mono或Flux响应流
7. 响应发送：WebFlux将响应流回传给Netty，由EventLoop线程负责最终的响应输出
8. 线程切换 在上述过程中，请求的接收和响应的发送是由Netty的EventLoop线程负责的，而请求和响应处理则可能由不同的线程来执行，这取决于处理逻辑中是否涉及线程切换。例如，如果处理逻辑中调用了阻塞的I/O操作，WebFlux会将这个操作切换到另一个线程池中执行，以避免阻塞EventLoop线程。

从上面了解到gateway 求的接收和响应的发送是由Netty的EventLoop线程负责的，也就是请求和响应处理可能不是同一个线程，这就是导致MDC 中的TRACEID丢失的原因。

解决方案

我们可以按如下方式将 TRACEID 放入head请求头中，如下：

public class RespEncryptFilter implements GatewayFilter, Ordered {

    private int order;

    @Override
    public Mono<Void> filter(ServerWebExchange exchange, GatewayFilterChain chain) {
        String bgDebug = exchange.getAttributeOrDefault(ConstantFilter.BG_DEBUG_KEY, ConstantFilter.REQ_RES_ENCRYPT);
        ServerHttpResponse originalResponse = exchange.getResponse();
        DataBufferFactory bufferFactory = originalResponse.bufferFactory();
        ServerHttpResponseDecorator decoratedResponse = new ServerHttpResponseDecorator(originalResponse) {
        
            @Override
            public Mono<Void> writeWith(Publisher<? extends DataBuffer> body) {
                //从请求头中取出traceId,放入MDC中
                MDC.put("traceId",getHeaders().getFirst("traceId"));
                if (body instanceof Flux) {
                    Flux<? extends DataBuffer> fluxBody = (Flux<? extends DataBuffer>) body;
                    return super.writeWith(fluxBody.buffer().map(dataBuffer -> {
                        DataBufferFactory dataBufferFactory = new DefaultDataBufferFactory();
                        DataBuffer join = dataBufferFactory.join(dataBuffer);

                        byte[] content = new byte[join.readableByteCount()];
                        join.read(content);
                        //释放掉内存
                        DataBufferUtils.release(join);
                        // 正常返回的数据
                        String rootData = new String(content, Charset.forName("UTF-8"));
                        byte[] respData = rootData.getBytes();
                        
                        if(ConstantFilter.REQ_RES_ENCRYPT.equals(bgDebug)){
                            // 对数据进行加密
                            String randomKey = AESUtil.getRandomKey();
                            String encryptData = AESUtil.AESEncrypt(rootData, randomKey, "CBC");
                            String encryptRandomKey = RSAUtils.publicEncrypt(randomKey);
                            JSONObject json = new JSONObject();
                            json.put("k", encryptRandomKey);
                            json.put("v", encryptData);
                            log.info("加密后数据：{}",json.toJSONString())
                            respData = json.toJSONString().getBytes();
                        }

                        // 加密后的数据返回给客户端
                        byte[] uppedContent = new String(respData, Charset.forName("UTF-8")).getBytes();
                        return bufferFactory.wrap(uppedContent);
                    }));
                }
                return super.writeWith(body);
            }
        };
        //从MDC取出traceId,放入请求头Head中
        decoratedResponse.getHeaders.add("traceId",MDC.get("traceId"));
        return chain.filter(exchange.mutate().response(decoratedResponse).build());
    }

    @Override
    public int getOrder() {
        return this.order;
    }

    public AppRespEncryptFilter(int order){
        this.order = order;
    }
}

验证日志打印如下：

[TRACEID=1324323234884848882]12:56:22.123-INFO 加密后数据：{"k":"xxxxx","v":"xxxxx"}