概述为什么需要工作流程调度系统一个完整的数据分析系统通常都是由大量的任务单元组成：Shell脚本，Java程序，MapReduce程序、Hive脚本等各个任务单元之间存在时间的先后顺序及前后依赖关系如果这些关系由人来单独协调，需要时刻关注任务的执行，极大浪费了时间。所以工作流程调度系统恰好解决了需求还节省了不必要的时间。常见的工作流程调度系统简单的任务调度直接使用Linux自带的定时执行工具Cro

类型错误：can only concatenate str (not “int”) to str只能将str（而不是“int”）连接到str拼接字符串时，有类型为int的变量，使用str(int类型变量)将int转为str即可。

数据采集技术综述数据采集是大数据产业的基石。数据采集的重点不在于数据本身，而在于如何才能解决数据运营中的实际商业问题。通过对数据采集技术获取的高质量数据的分析和挖掘，得到的结果对决策行为具有较高的指导性作用数据采集的定义数据采集，又称数据获取，是利用一种程序或装置从系统外部采集数据，经过数据清洗，最终输入到存储系统中。数据采集的特点自动化：以高自动化的方式采集并存入全面化：涵盖了全量采集和增量采集