一台服务器配置：12核/64G/18T主板：超微 X10DRLU盘：CentOS-7-x86_64-DVD-1804.iso步骤一：按DEL 进入bios配置好 raid 0步骤二：按F11 进入U盘启动按Enter 进入centos7安装界面后按Tab 将底下的命令修改为：vmlinuz initrd=initrd.img linux dd quiet 回车，然后就会列出你的设备列表找到安装U盘

Kafka+SparkStreaming已经发展为一个比较成熟的实时日志收集与计算架构，利用Kafka，即可以支持将用于离线分析的数据流到HDFS，又可以同时支撑多个消费者实时消费数据，包括SparkStreaming。然而，在SparkStreaming程序中如果有复杂业务逻辑的统计，使用scala代码实现起来比较困难，也不易于别人理解。但如果在SparkSteaming中也使用SQL来做统计分

shell命令行：cd /opt/cloudera/parcels/CDH/lib/zookeeper/bin./zkCli.sh -server hadoop01:2181zookeeper命令行：ls /brokers/topicsquit

老大让研究ELK，经过几天的摸索，终于把流程跑通了。版本：kafka 0.10.2.0logstash 5.3.0elasticsearch 5.3.0修改logstash中配置文件vi logstash.confinput {kafka{bootstrap_servers => ["10.10.10.10:9092"]group_...

SparkStreaming读kafka写入HDFSpom访问Kerberos环境下的HBase代码Spark2Streaming应用实时读取Kafka代码写入数据到kafka代码SparkStreaming读kafka写入HDFS本教程基于CDH5.8.0其它组件版本为：spark2.1.0、kafka0.10.2、HDFS2.6.0pom...

Kafka+SparkStreaming已经发展为一个比较成熟的实时日志收集与计算架构，利用Kafka，即可以支持将用于离线分析的数据流到HDFS，又可以同时支撑多个消费者实时消费数据，包括SparkStreaming。然而，在SparkStreaming程序中如果有复杂业务逻辑的统计，使用scala代码实现起来比较困难，也不易于别人理解。但如果在SparkSteaming中也使用SQL来做统计分

集群环境：CDH5.8.0 / spark1.6.0 / scala2.10.4在使用时，我们需要添加相应的依赖包：<dependency><groupId>org.apache.spark</groupId><artifactId>spark-streaming-kafka_2.10&

之前搞过蓝桥杯，就从官网下载了Dev-cpp软件~http://dasai.lanqiao.cn/pages/dasai/news_detail_w.html?id=1819解压后，点击File – New – Project，直接F9编译F10运行：#include <stdio.h>#include <stdlib.h>int main(int arg ,char *a

sqlalchemy 查询SQL：#/usr/bin/env python#coding:utf-8from sqlalchemy import create_engine,textengine = create_engine("mysql+pymysql://dbname:dbpassword@ip:3306/db?charset=utf8",encoding="utf-8",echo=True