工作中涉及到了关系数据库和非关系数据库的数据转换，即mysql和hbase之间的数据转换，这里用到了sqoop进行数据转移。对hbase的操作除了自带的一些api，还用到了phoenix。使用crontabs定时完成sqoop创建的job的shell脚本完成自动化执行。通过phoenix链接hbase，再用scala语言，通过spark完成具体的大数据操作。这里总结了一些具体用到的操作，刚开始写博