在说flink的反压之前，先来说下strom和spark streaming的反压。Strom 反压如图是strom的反压，是通过zookeeper来决定的，当strom感受到处理不过来的时候，就会像zookeeper增加一个znode，然后strom发现了这个znode，对应的上游数据就会阻塞，不会发送数据。Spark Streaming 反压Spark Streaming的...

整体架构以上是flink的整体架构，今天我们一起来学习一下Flink的Runtime这一层。Runtime架构这个是runtime的架构，基本上一目了然。图中可以看到，1.client向cluster Management（standalone、yarn、messos、K8S）提交app请求。同时，client也会完成作业的编译以及优化的过程，譬如哪些task可以连在一...

事情原由近来kafka总是时不时的出问题，出现的问题 : open too many files。我们限定的文件数已经是3W多了，一般都是维持在3K这样。然后就是原因找不到，不太清楚是kafka的bug还是磁盘或者网络的原因，现象如下。所以没办法，就搞个脚本，时不时去探测下kafka进程的打开文件数，如果文件数大于某个值，就重启该节点的broker节点。脚本编写1.查看...

主要maven依赖<dependency><groupId>org.apache.flink</groupId><artifactId>flink-connector-filesystem_2.11</artifactId><version>${flink.version}</ver...