项目需要从事scala开发，之前都是用IntelliJ IDEA和scala eclipse，但是我这里目前的环境是myeclipse，刚做的一个项目也在里面，所以就干脆直接用了，下面开始介绍如何使用myeclipse集成scala和maven的相关插件。首先安装scala插件地址：http://download.scala-ide.org/sdk/lithium/e44/scala211/

在做项目时，有个ETL需要处理，数据都在HIVE里面，需要对数据进行统计分析转换。开始直接用的HIVE的JDBC，效率不高。后来想到用hive on spark的方式处理。底层不再使用MapReduce进行计算，避免shuffle引起的大量读写硬盘和rpc网络拷贝带来的性能底下问题，程序效率有了明显提高。但是随之而来的是用sparksql往hive表中插入数据时，会产生很多小文件。用hive时，可