先按照spark和Python3export SPARK_HOME=/home/hadoop/opt/spark-2.2.1-bin-hadoop2.7export PATH = $PATH:$HADOOP/bin:$HADOOP/sbin解压完spark后需要配置环境变量,和hadoop配置是一样的请看本人上一篇bolg.配置好环境变量后我刷新一下路径的存

什么是kafkakafka是一个开源流处理平台，由java和scala编写。是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。kafka的目的是通过hadoop的并行加载机制来同意线上和离线的消息处理，也是为了通过集群来提供实时的消息。简单的来说，它就是一个消息中间件，天然分布式、支持集群的，专注于数据吃的存放缓存的。相关术语broker（经纪人）：kafka服

在linux下设置一个定时执行任务，首先在任务调度使用的是crontab的任务调度：crontab -e 编辑执行任务，crontab -l 列出用户目前的crontab.基本格式 : *　　*　　*　　*　　*　　command 分　时　日　月　周　命令 第1列表示分钟1～59 每分钟用*或者 */1表示 第2列表示小时1～23（0表示0点） 第3列表示日期1～31 第4列表示月份1～12 第5