1、日志系统（FLUME、kafka）1.1FLUME概念： Flume 是一个从可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务，或者数集中机制。特点：flume具有高可用，分布式，配置工具，其设计的原理也是基于将数据流，如日志数据从各种网站服务器上汇集起来存储到HDFS，HBase等集中存储器中...

阿里云PAI是一个一站式的算法平台，上面集成了部分常用的机器学习算法，如GBDT二分类、逻辑回归等算法进行了封装，在使用时只需要拖拽相关组件即可，在PAI中不仅仅集成一些机器学习算法，而且集成了机器学习中的数据预处理、特征工程、模型评估等相关方法的组件，这些组件根据解决的问题类型进行了分类，如果对PySpark的熟悉的同学，应该一眼可以看出阿里云PAI的封装组件其实就是目前PySpark.ML支持