引言Spark 的 Structured Streaming 的 Continuous Processing Mode 的容错处理使用了分布式快照（Distributed Snapshot）算法 Chandy-Lamport 算法，那么分布式快照算法可以用来解决什么问题呢？A snapshot algorithm is used to create a consistent snapshot...

1. Runtime引入了可插拔的Shuffle策略。自定义调度器，开发者根据计算模型自身的特点定制不同调度器。Blink可以更加灵活地将算子chain在一起，避免不必要的数据传输。引入全新的JM FailOver机制，JM 发生错误之后，新的 JM 会重新接管整个 JOB 而不是重启 JOB，从而大大减少了 JM FailOver 对 JOB 的影响。2. SQL/TableAPI...

1.python中set数据结构说明set（集合）是一个无序不重复元素的集，并且这些元素不需要是相同类型的数据。其基本功能包括关系测试和消除重复元素。集合对象还支持 union（联合），intersection（交），difference（差）和sysmmetric difference（对称差集）等数学运算。2.set基本用法初始化一个set变量：>>&g..

1. 引言在java并发编程中，一定绕不开volatile、synchronized和lock几个关键字，其中volatile关键字是用来解决共享变量（类成员变量、类的静态成员变量等）的可见性问题的，非共享变量（方法的局部变量）是分配在JVM虚拟机的栈中，是线程私有的，不涉及可见性问题。那么什么是可见性？参考：https://blog.csdn.net/nch_ren/article/de...

1. 引出问题某服务器上部署了若干tomcat实例，即若干垂直切分的Java站点服务，以及若干Java微服务，突然收到运维的CPU异常告警。问：如何定位是哪个服务进程导致CPU过载，哪个线程导致CPU过载，哪段代码导致CPU过载？2. 排查过程步骤一：找出最耗CPU的进程方法：执行：top键入大写P，进程按照占用CPU从高到低排序如图所示：如上图，最耗CPU的进程PID为1...

前言很多朋友多次问到什么是网关、dns、子网掩码，它有什么作用，确实，我们平时在网络中总是在不断的提到网关，却很少真正的去了解它。一、什么是网关1.什么是网关网关(Gateway)又称网间连接器、协议转换器。网关在传输层上以实现网络互连，是最复杂的网络互连设备，仅用于两个高层协议不同的网络互连。2. 如何来理解网关大家都知道，从一个房间走到另一个房间，必然要经过一扇门。同样，从一个网络...