大数据实时流处理零数据丢失1.整体流程：a)kafka：作为流处理程序的生产者b)sparkStreaming：作为消费者，设置合理batchc)DB：输出到redis/ES2.存在问题：雪崩效应： kill 出现，导致的数据丢失sparkStreaming程序挂掉了，到知道的数据丢失解决：1.使用checkpoint。维护太麻烦，流程...

windows 本地测试spark streaming + kafka direct api 卡在如下信息出：“Kafka scala consumer marked as dead for group”1.环境：kafka server为集群，连接时使用的是hostname:9092方法去连接，程序也不报错， 就是卡在上面的信息出，没有输出。2.之前已经在集群上使用shell...

直接从这里的阿里云镜像站点下就好了， csdn一堆要积分的，无奈之举。http://mirrors.aliyun.com/docker-toolbox/mac/docker-for-mac/

**实现步骤，**1.new Java Bean ：val entitys = new RedisCacheEntity2.通过net.sf.json工具的JSONObject方法解析输入JSON，强转为Mapval map: util.Map[String, Object] = JSONObject.fromObject(inputJson).asInstanceOf[util.Map[Stri

第一步：设置云主机名[root@localhost ~]# hostnamectl –static set-hostname master第二步：删除set……hostname和update……hostnamevim /etc/cloud/cloud.cfg

其实解决办法很简单，1.关闭当前的虚拟机，2.来到虚拟机的本地磁盘找到VMware 虚拟机配置 (.vmx)文件3，右键打开方式选择Vmware Workstation 或者 Vmware Player就可以了4.可以很开心的回到原来的场景。

1.虚拟机网络方式为 vmnet 8 NAT 模式，并且虚拟机可以上外网，虚拟机的ip和windows主机也在同一网段。2.之前都是好的，可以互相ping通，通信。现在只能windows ping通linux，linux却不能ping通windows。。。3.经测试，windows这边也可以远程到Linux中，所以排除linux主机防火墙问题，4.推测，可能是windows防火墙问...