注意的是SpringApplicationContext要保证进程单例, 不要在算子的open()方法中创建SpringApplicationContext, 否则在并行执行算子时会导致重复创建SpringApplicationContext,并行执行算子对于flink来说可以是单进程中每个线程执行不同的算子，达到并行的目的，这种就会导致重复创建的问题，当然也可能不同的进程执行不同的算子，这种情况

1.spark支持的分类包括以下几个场景：a.二分类，顾名思义就是只分成A和B两类b.多分类分成A，B，C，D等多个分类不支持多标签分类，所谓的多标签分类是指一个样本可以属于多个分类，也就是比如样本X既属于A分类又属于B分类，spark目前不支持分类的算法主要有逻辑回归分类算法，决策树，随即森林等，不管是哪种算法，不同点主要在于支持的分类数量和样本数量的限制不同，评价分类算法的好坏的标志主要是看准

spark job stage task的关系

spark sql的join调优

1.spark支持的分类包括以下几个场景：a.二分类，顾名思义就是只分成A和B两类b.多分类分成A，B，C，D等多个分类不支持多标签分类，所谓的多标签分类是指一个样本可以属于多个分类，也就是比如样本X既属于A分类又属于B分类，spark目前不支持分类的算法主要有逻辑回归分类算法，决策树，随即森林等，不管是哪种算法，不同点主要在于支持的分类数量和样本数量的限制不同，评价分类算法的好坏的标志主要是看准

spark处理数据倾斜

1.使用操作系统的页缓存kafka的性能非常依赖于操作系统的页缓存，页缓存提供了比kafka进程内存更好的缓存方式。2.零拷贝(linux的sendfile函数，对应FileChannel.transferto函数)正常的从磁盘发送数据到网络要经过一下几个步骤:a.把数据从磁盘读取到内核的read buffer内存中b.把内核read buffer内存的数据读取到应用程序的用户内存uer buff

flink监控指标

hbase架构图hbase数据存储格式hbase存储

sql打印日志mybatis打印日志mybatis支持打印日志到logback中