1. env-准备环境2. source-加载数据转换4. sink-数据输出5. execute-执行。

在报错中Call to address=hadoop1/192.168.37.136:16020与我的hadoop1/192.168.37.130不一样。可能是Windows中hosts文件的问题。

在本地写代码，右键运行，将代码自动提交到集群上。spark是Standalone集群。

SQL 中判断一个字段是否包含某个值

八爪鱼采集器（Octoparse）是一种用于抓取网页数据的网络爬虫工具，可简单快速地将网页数据转化为结构化数据，存储于EXCEL或数据库等多种形式，并且提供基于云计算的大数据云采集解决方案，实现精准、高效、大规模的数据采集。八爪鱼采集器通常用于数据挖掘、竞争情报、市场研究、数据分析和各种其他用途。八爪鱼采集器采用可视化操作界面，无需编写代码，用户可以通过简单的拖拽、点选和配置来定义爬取规则。自定义

Kafka-Eagle 框架可以监控 Kafka 集群的整体运行情况，在生产环境中经常使用。在生产过程中，想创建topic、查看所有topic、想查看某个topic 想查看分区等，都需要写命令，能不能有一个图形化的界面，让我们操作呢？