上一篇【第76篇】Netty实现高性能API网关——路由/鉴权/限流一站式
下一篇【第78篇】Netty安全编程——防范常见网络攻击的实战指南

---

一、Flink网络栈

Flink JobManager ↔ TaskManager（RPC）
TaskManager ↔ TaskManager（数据传输）
    ↓
NetworkEnvironment（基于Netty）
    ↓
ResultPartition ←→ InputGate（数据交换）

---

二、Flink信用量反压

// Flink使用信用量(Credit-based)反压
// 下游通知上游：我有N个buffer可用

public class RemoteInputChannel {
    private int availableBuffers;  // 可用buffer数量
    
    // 下游消费数据后通知上游
    public void notifyCreditAvailable(int numBuffers) {
        availableBuffers += numBuffers;
    }
    
    // 上游发送数据前检查信用量
    public boolean hasAvailableBuffer() {
        return availableBuffers > 0;
    }
}

反压链路：

下游处理慢 → buffer满 → credit=0 → 上游暂停发送
下游恢复 → credit增加 → 上游继续发送

---

三、Spark RPC框架

// Spark的RPC基于Netty
// NettyRpcEnv → TransportServer/TransportClient

public class NettyRpcEnv {
    private final TransportContext context;
    
    // 发送RPC请求
    public void send(TransportClient client, RpcMessage msg) {
        client.sendRpc(msg);
    }
    
    // 接收RPC请求
    public void receive(TransportClient client, ByteBuffer msg) {
        dispatcher.postMessage(msg);
    }
}

---

四、大数据场景特化优化

场景	配置	理由
数据传输	大缓冲区(64KB+)	减少系统调用
Shuffle	直接内存	避免GC
RPC	池化	频繁短连接

---

上一篇【第76篇】Netty实现高性能API网关——路由/鉴权/限流一站式
下一篇【第78篇】Netty安全编程——防范常见网络攻击的实战指南

---