sqoop工具将数据从Hive导出到mysql中文乱码问题常用从hive导出数据到mysql的sqoop执行语句：bin/sqoop export \--connect jdbc:mysql://bigdata01:3306/etl \--username root \--password 123456 \--table twobatchavgscore \--num-mappers 1 \--e

此文章主要向大家演示在大数据项目中使用Azkaban作为任务调度器的时候，当任务发生错误和失败,又或者任务执行成功时怎么部署实现Azkaban**自动发送**邮件通知项目负责人，在这篇文章中我将126邮箱交给Azkaban使用，作为自动报警机制的发件人，而使用qq邮箱作为项目执行者接收Azkaban的报警信息。

任务调度器Azkaban、azkaban在大数据中的应用，数据仓库中的任务调度器

三台主机之间配置免密登录一、环境二、准备工作三、开始配置免密登录一、环境VMware+centos7二、准备工作三台虚拟机：ethan001 ethan002 ethan003在三台虚拟机都配置好主机名映射关系vi /etc/hosts输入自己三台虚拟机的ip主机名()：192.168.174.140 ethan001192.168.174.141 ethan003192.168.174.142

文章目录一、准备工作二、jdk安装及环境配置二、hadoop安装2.伪分布式配置验证hadoop环境是否搭建成功一、准备工作准备工作请自行参考如下资料进行操作，确保VMware虚拟机及CentOS7.6操作系统正常安装安装VMware虚拟机和CentOS7操作系统参考：https://blog.csdn.net/IT_technologier/article/details/114696093?s

kafka集群安装一、安装包获取二、安装kafka本人是一名在校大三学生，所选专业大数据技术，为了毕业能有一份可观的工作，目前正在致力于努力学习中，在学习中的一些笔记和经验，希望可以通过写CSDN博文记录并和同样正在努力中的你分享一、安装包获取在Windows中在官网下载，然后上传到虚拟机链接:https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/在虚

SparkStreaming读取kafka生产的数据，进行累计词频统计后将最新结果存入MySQL数据库一、环境准备二、环境启动三、编写程序四、进行测试读取kafka数据，进行累计词频统计，将结果输出到mysql的数据表中！！！！关于使用sparkstreaming读取kafka生产者生产的数据，并且将每一次输入的数据进行词频累计统计，然后将最终结果存储到MySQL数据库中。学习记录~一、环境准备h

JDBC操作Hive一、启动hadoop集群二、在hive的安装目录下的bin/目录下启动hiveserver2三、两种JDBC的操作方式一、虚拟机中的hive的beeline端二、Windows本地idea集成开发环境1、创建maven项目并添加依赖到pom.xml文件2、代码编写:2、执行程序一、启动hadoop集群hive是基于hadoop二、在hive的安装目录下的bin/目录下启动hiv