继续上一篇学习spark本次将介绍下如何利用mllib进行商品或者用户的推荐，具体用到的算法是ALS（交替二乘法）推荐算法介绍推荐算法可以分为：UserCF(基于用户的协同过滤)、ItemCF(基于商品的协同过滤)、ModelCF(基于模型的协同过滤)，具体介绍见：http://blog.csdn.net/ygrx/article/details/15501679spark中的协同

1. hadoop: http://blog.csdn.net/jthink_/article/details/386222972. hive:

Spring Cloud提供的微服务都是基于http，那么在请求的时候如果用spring提供的RestTemplate再加一个Ribbon提供的@LoadBalanced注解也是可以比较方便的发起微服务的调用，并且也能做到负载均衡。但是如果服务提供者参数较多也较复杂，那么使用这种方式需要拼接url或者使用Map的形式，但总归是不便于开发的。     Spring Cloud全家桶提供了feign这

最近在写一个logback的kafka appender，无意中发现spring-boot在使用logback时的一个坑用ConsoleAppender.java来举例，假设在logback.xml中使用了该appender，那么这个类的相关的初始化方法都会调两次，如start()方法打断点进行debug，第一次进入start()方法如下：可以看到所有的调用链（除了自己代码的方

接上篇说道spring-boot在使用logback的坑之后又发现一个坑，自定义的appender以及原生的appender的stop()方法不会调用，导致部分清理工作无法完成。原因：上篇说到去掉了LoggingApplicationListener使spring-boot不再管理logback，导致没有add一个shutdownhook首先我们去掉上篇的方法，让spring-boot依旧

接上文介绍docker的编排工具来部署，这里采用原生的compose方式，以后再介绍k8s如何做。本文介绍的例子为：https://github.com/JThink/SkyEye，4个服务提供了一组完整的应用。直接上docker-compose.ymlversion: '3'services:  skyeye-alarm: image: 192.168.xx.xx:5000/xxx/sky

之前说到日志事件的设计、如何埋点以及基于jvm的程序如何对接我们的系统，接下去我们说下日志如何进行索引。通过前三篇博客可以知道数据通过LOGGER.info等打印日志的函数就可以存入kafka，所以我们对日志建立索引只需要实时读kafka写入es，为了提高实时索引的速率，我们会部署3个实例实时消费kafka的9个partition，并且使用es的bulk loadapi，这样测试下来大概3台

安装zookeeperkafka自带了zookeeper，建议还是用外部的zk集群，搭建步骤如下： 准备3台机器，假设我们叫c1、c2、c3，ip分别为ip1、ip2、ip3将附件zookeeper-3.4.6.tar.gz分别拷贝至3台机器c1机器上解压zookeeper-3.4.6.tar.gz得到zookeeper-3.4.6，在zookeeper-3.4.6上一级目录创建dat

之前说到注册中心的设计，zookeeper中的节点部署如下：kafkaAppender初始化向zk进行app节点注册，并写入相关的信息kafkaAppender发生异常暂停工作会向app节点写入相关信息，以便监控系统能够实时感知并发送报警app正常或者异常退出后，zk中的app临时节点会消失，shutdownhook会正常运行，监控系统能够实时感知并发送报警（这里就需要我们在自定义的log

这里不去分析哪种日志采集方式最好，不对flume、logstash等其他软件做比较，我这边只会介绍适合我们公司使用的系统。由于我们公司部署的项目采用的都是java或者scala项目，日志的框架是log4j或者logback。日志的采集应该是不侵入或者最少侵入对接系统，所以我们使用轻量级的方式，自定义log4j和logback的kafka appender，将log输出的日志同时走kafkaa