Flink 提供了非常完善的窗口机制，是Flink 最大的亮点之一（其他的亮点包括消息乱序处理，和 checkpoint 机制等）。经典的窗口划分为几类：时间窗口、事件窗口、会话窗口、自定义窗口；其中时间窗口和事件窗口又可以划分为滚动窗口和滑动窗口；滚动窗口和滑动窗口的区别在于滚动窗口没有重叠，滑动窗口有重叠。1. 时间窗口(Time Window)1.1滚动窗口(Tumbling Window)

Apache Kafka基准测试：三台普通机器上每秒写入2百万消息。kafka之所以速度快，这里主要从下面几方面进行分析。1. 写数据1.1 顺序写磁盘在顺序磁盘IO，速度可以比内存随机IO更快。Kafka官方给出的测试数据(Raid-5, 7200rpm)顺序I/O: 600MB/s随机I/O: 100KB/s顺序读写磁盘优势磁盘顺序读写速度超过内存随机读写...

flink实时任务，使用了debug，但taskManager上运行的任务一直没有debug级别的日志，只有info日志。最终回到flink配置，弄清flink/conf下面的日志配置文件作用log4j.properties：在yarn模式下，jobManager和taskManager上用的log配置都依赖于它！log4j-cli.properties：flink run启动时的日志依赖于该配置

1 数据库数据库包含关系型数据库存和非关系型数据库。我们通常所说的数据库指的是关系型数据库。关系数据库是指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据。关系型数据库的主要用于联机事务处理OLTP（On-Line Transaction Processing）主要进行基本的、日常的事务处理，例如银行交易等场景。主要特点：结构化程度高独立性强冗余度低2 数据仓库数据仓库 ，由数据仓库之父

今天在idea上调试某个项目，结果idea崩了，一直打不开，重启重装也不行，应该是重装不彻底不干净。寻找了网上的一些解决方法，都不管用。既然网上上解决方法也不行，重装也不行，那就老老实实地解决问题吧。具体现象是这样的：崩在某个项目，强制退出再重新打开，还是卡在这个项目，这时候右键点击程序坞idea图标，还可以打开最近已经打开过的项目，也可以正常关闭，但是崩掉的项目还是卡住。强制退出idea重新启动

HBase和Redis的功能上比较相似，都是nosql类型数据库，但是读写性能、支持数据类型、数据大小、部署、在应用场景下，还是有明显差别。redishbase数据大小通常受内存限制受内存限制数据类型KV、List、Set等丰富类型只支持KV类型读写性能读快写快读慢写快数据可靠Redis采用的是异步复制数据，在failover时可能会丢失数据HBase采用WAL，先记录日志再写入数据，...

单线程Reactorreactor线程负责多路分离套接字，accept新连接，dispatch分派请求到Handler处理器中，所有操作都在一个线程中。缺点：单线程模型是串行的，当其中某个handler阻塞时， 其他client的handler得不到执行，无法接收新的client请求。单线程模型不能充分利用多核资源。多线程的Reactorreactor是一个独立线程，如果要利用多核优势，可以将re

Shuffle作为处理连接map端和reduce端的枢纽，其shuffle的性能高低直接影响了整个程序的性能和吞吐量。Shuffle本质上都是将Map端获得的数据使用分区器进行划分，并将数据发送给对应的 Reducer 的过程，map端的shuffle一般为shuffle的Write阶段，reduce端的shuffle一般为shuffle的read阶段。Hadoop和spark的shuffle..

1. 为什么要服务发现当我们需要远程访问REST API或者Thrift API时，我们必须得知道服务的网络地址（IP Address和port）。传统的应用程序都是运行在固定的物理机器上，IP Address和端口号都是相对固定的。可以通过配置文件方式来实现不定期更新的Ip Address和端口号。在基于云的微服务应用中，服务实例的网络地址（IP Address和Port）是动态分配...

问题现象linux系统版本：CentOS 6以上(root) [hdfs@xydw56 ~]$ python -m pip install -i http://pypi.douban.com/simple --trusted-host=pypi.douban.com psycopg2Looking in indexes: http://pypi.douban.com/simple...