logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现(一)

本文通过在hdfs中三种不同数据格式文件存储相同数量的数据,通过hive和impala两种客户端查询进行比较。本文前提:熟悉hadoop、hive和impala、kafka、flink等,并且其环境都可正常使用。(在后续的专栏中都会将对应的内容补全,目前已经完成了zookeeper和hadoop的部分。)本文分为一般建议,下面通过实际操作进行比较实现1亿条数据在hive和impala中不同sql的

文章图片
#hadoop#hive#flink +2
Spring Batch教程(五)spring boot实现batch功能注解示例:读写文本文件(读取一行数据,针对一行数据进行求和)

本文介绍了1个示例,即通过spring boot 启动spring batch的任务,该任务是通过注解实现的。文件位置:/sping-batch/src/main/resources/student-data.txt。本文使用的是jdk8版本,最新版本的spring core和springb batch用不了。以上,通过spring boot 启动spring batch的任务,该任务是通过注解实

文章图片
#spring#batch#spring boot +1
Spring Batch教程(三)示例:从mysql中读取数据写入文本和从多个文本中读取内容写入mysql

文件位置:/sping-batch/src/main/resources/spring-batch-context4.xml。文件位置:/sping-batch/src/main/resources/spring-batch-context5.xml。文件位置:/sping-batch/src/main/resources/context-datasource2.xml。以上,介绍了2个示例,即从

文章图片
#spring#batch#mysql +2
java 代理(静态代理、动态代理的不同实现)详解及示例

代理模式上,基本上有Subject角色,RealSubject角色,Proxy角色。Subject角色负责定义RealSubject和Proxy角色应该实现的接口;RealSubject角色用来真正完成业务服务功能;Proxy角色负责将自身的Request请求,调用realsubject 对应的request功能来实现业务功能,自己不真正做业务。代理对象和被代理对象一般实现相同的接口,调用者与代理

文章图片
#java#代理模式
1、并发测试的几种简单方法

本文介绍几种简单的并发测试方法。本文分为。

文章图片
#测试工具#java#开发语言 +2
jvm性能监控工具(jps、jstat、jinfo、jmap、jhat、jstack、jvisualvm和jconsole)介绍及示例

JDK本身提供了很多方便的JVM性能调优监控工具,除了jps、jstat、jinfo、jmap、jhat、jstack等小巧的工具,还有集成式的jvisualvm和jconsole。这些工具在 $JAVA_HOME/bin目录下。

文章图片
#jvm#java#linux
java注解详解及示例

本文简单介绍java的注解原理与示例。

文章图片
#java#junit#单元测试 +2
Flink 系列文章汇总索引

某一知识点,并辅以具体的示例进行说明。本专栏的文章编号可能不是顺序的,主要是因为写的时候顺序没统一,但相关的文章又引入了,所以后面就没有调整了,按照写文章的顺序进行编号。但一个专题的顺序号是统一的,不存在编号跳跃情况。

文章图片
#flink#大数据
Kafka + spark stream +redis (createStream + createDirectStream)

我们的应用场景是分析用户使用手机App的行为,描述如下所示:1、手机客户端会收集用户的行为事件(我们以点击事件为例),将数据发送到数据服务器,我们假设这里直接进入到Kafka消息队列2、后端的实时服务会从Kafka消费数据,将数据读出来并进行实时分析,这里选择Spark Streaming3、经过Spark Streaming实时计算程序分析,将结果写入Redis本例子是采用模拟的

#spark#redis#scala +1
Spring Batch教程(三)示例:从mysql中读取数据写入文本和从多个文本中读取内容写入mysql

文件位置:/sping-batch/src/main/resources/spring-batch-context4.xml。文件位置:/sping-batch/src/main/resources/spring-batch-context5.xml。文件位置:/sping-batch/src/main/resources/context-datasource2.xml。以上,介绍了2个示例,即从

文章图片
#spring#batch#mysql +2
    共 12 条
  • 1
  • 2
  • 请选择