背景：实时效果数据中map的每条数据处理都需要一个单例的对象，这个单例对象的初始化在open方法中在map每次计算前都会判断此单例对象是否存在，如果不存在希望flink任务挂掉思路：如果发现对象为null，抛出异常，不catch空指针异常是运行时异常的子集，抛出哪个都可以，只是空指针异常语义更明确代码如下线上测试线上部署之后，在task日志，jobManager日志，Exception日志中均发现

退出vim的快捷键，不需要进入命令编辑模式按住shiftzz    保存退出zq    不保存退出，q表示放弃之所以按住shift，其实是切换大小写 在命令编辑模式下：:q 不保存退出:q! 不保存强制退出:wq 保存退出，w表示写入，不论是否修改，都会更改时间戳:x     保存退出，如果内容未改，不会更改时间戳

转：https://daizuozhuo.github.io/spark-join/  最近在项目中用Spark join了几十亿的数据，在debug和不断优化性能中感觉收获良多，特此记录一下。任务很简单，就是join两张表，表A ship有几千万行，包含每日寄出去的包裹的信息，表B item有几十亿行，包括所有商品的属性，我们需要把商品的属性信息加到每个包裹里面的商品上。一开...

之前在自己电脑上装绿色版mysql老容易了，解压之后，配置my.ini配置环境变量mysqld installnet start mysqlmysql -u root -p就完事了，简单程度甚至都不需要五分钟 今天装mysql这个费劲啊，我复制了之前电脑上能正常运行的解压后mysql5.6执行net start mysql报错：进程意外终止 1067网上都说把innodb换成myisam特么的我就

代码修改完成之后，不能像在百度那样，直接eclipse右键，直接就提交到远程master上了这里比较麻烦的地方就在于提交代码的时候其实是提到自己fork的项目，通过自己fork的项目发起合入请求才能合入远程master而且提交之前，要先从远程master上拉取一份最新的代码1.在本地git项目下打开git命令端执行git pull upstream master从远程master拉取最新代码直接能

一.用brew命令装了kafka，启动brew提供了一键启动的方式(kafka中自带zookeeper)只启动kafka会报错，必须先启动zookeeperzookeeper-server-start /usr/local/etc/kafka/zookeeper.properties & kafka-server-start /usr/local/etc/kafka/server.

这是转储的一篇文章，前面是我的总结，如果哪错了希望大家能在评论中指出来首先要考虑这么几个问题：消息丢失是什么造成的，从生产端和消费端两个角度来考虑消息重复是什么造成的，从生产端和消费端两个角度来考虑如何保证消息有序如果保证消息不重不漏，损失的是什么 下面是文章详情，这里先简单总结一下：消费端重复消费：很容易解决，建立去重表