logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

docker-pub 国内镜像仓库

进行从store.docker.com拉取大的镜像特别慢,而且还时常断掉。所以准备还是用国内的仓库。国内的仓库如下:Docker 官方中国区https://registry.docker-cn.com网易http://hub-mirror.c.163.comustchttps://docker.mirrors.ustc.edu.cn经测试网易是最快。下面是配置dock

spark-基于kafka_struct_streaming的ETL案例

背景:基于流的结构化处理,越来越成为ETL的重要处理手段,使用SQL处理流数据优点可以降低数据处理的编程难度,而且能够工程化的动态配置处理格式。基于struct_streaming处理pv的简单案例数据源:kafka的topic input_std1_npanther中输入格式:json{"event_siteid":"kf_3004&

#kafka
spark-structstreaming-结果数据存入hbase

前言本节描述通过spark-structstreaming将结果结果数据存入hbase正文object testWriteResultToHbase{def main(args:Array[String]){val kafkaservers=args(0)val topic=args(1)val zookeeperservers=args(2)v

#spark
到底了