HADOOP辅助工具、HA部署前言在一个完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示：图：典型大规模离线数据处理平台sqoop数据迁移工具2.1 概述sqoop是apache旗下一款“Hadoop和关系数据库...

1、提取日志,过滤出sqlldr的日志导入本地，（多个sqlldr可以先合并成一个文件），再替换掉多余的字符串，验证去重再导出sql2、上传压缩好的sqllr数据日志文件到服务器3、解压上传的sqllr数据压缩包unzip sqlldrlog202110251554.zip4、执行bash环境变量#!/bin/bashPATH=$PATH:$HOME/.local/bin:$HOME/binexp