Ubuntu docker安装、容器准备、环境准备以及软件安装docker安装SSH安装容器准备环境准备安装必要软件配置SSH免密登录设置时区关闭防火墙安装MySQL安装JDKHadoop安装docker安装SSH安装更新源dsj@dsj:~$ sudo apt-get update如果这一步发现更新很慢，可以这样设置点击系统设置，选择软件和更新，下载自选择其他站点点击选择最佳服务器等待找到最佳的

Python数据爬取数据采集常用数据爬取工具安装配置Scrpy框架数据采集数据来源从网上爬取数据（crawling）从文件系统收集数据（scraping）文件、数据库等网络数据采集模型常用数据爬取工具第三方库实现爬取Requests、lxml灵活、简单PySpider爬虫框架提供WebUI界面编写及管理爬虫上手快，学习简单对Windows操作系统支持很差Scrapy爬虫框架功能强大可定制性强多线程

Kafka Stream窗口操作Kafka Stream窗口Hopping Time WindowTumbling Time WindowSession WindowKafka Stream窗口Hopping Time Window编写Java类package nj.zb.kb09.kafka;import org.apache.kafka.clients.consumer.ConsumerCon

Scala和Java实现SparkStreamingScala版本实现SparkStreamingJava版本实现SparkStreamingScala版本实现SparkStreaming添加maven依赖<dependencies><dependency><groupId>com.fasterxml.jackson.core</groupId>&l

Kafka StreamKafka Stream背景Kafka Stream是什么Kafka Stream背景Kafka Stream是什么Kafka Stream是Apache Kafka从0.1.0版本引入的一个新Feature。它是提供了对存储与Kafka内的数据进行流式处理和分析的功能。Kafka Stream的特点如下：Kafka Stream提供了一个非常简单而轻量的Library，它

GraphX之Pregel算法原理及Spark实现Pregel案例：求顶点5到其他各点的最短距离Pregel原理分析Pregel源码def pregel[A: ClassTag](initialMsg: A,maxIterations: Int = Int.MaxValue,activeDirection: EdgeDirection = EdgeDirection.Either)(vprog:

Kibana（可视化）ELK StackKibana安装kibana基本使用kibana数据探索kibana数据可视化（一）kibana数据可视化（二）kibana数据可视化（三）kibana数据可视化（四）kibana数据可视化（五）kibana数据可视化（六）kibana数据可视化（七）ELK StackElasticsearch（存储+检索+分析），简称ESLogstash（日志收集）kib

hive插入动态分区报错在hive中插入动态分区时报错：原因解决办法动态分区的相关配置在hive中插入动态分区时报错：Error during job, obtaining debugging information…FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask原因创

Phoenix安装、配置和使用下载Phoenix安装和配置PhoenixPhoenix概述Phoenix应用场景Phoenix架构Phoenix SQL语法Phoenix支持的关键字类型Phoenix操作HBase示例下载Phoenix下载地址：Phoenix提取码：4p4t安装和配置Phoenix把下载好的安装包放入software目录下解压Phoenix到opt目录下[root@hadoop1

Hive函数及性能优化Hive函数分类内置函数字符函数类型转换函数数学函数日期函数集合函数条件函数聚合函数表生成函数Hive UDF开发流程Hive UDF实现示例一：把小写字母转换成大写字母示例二：输入一个时间，添加小时示例三：两个时间相减使用hive实现函数建立hive临时函数建立hive永久函数Hive事务Hive事务的特点和局限性Hive事务的开启和设置Hive PLSQLHive性能调优