在linux中运行java jar包 ,今天用了java -jar 但是不管用，后来改为java -cp就可以了，下面是关于两者之间的区别和一下总结：java -cp 和 -classpath 一样，是指定类运行所依赖其他类的路径，通常是类库，jar包之类，需要全路径到jar包，window上分号“;”格式：java -cp .;myClass.jar packname.mainclassn...

本教程是一些Linux命令中关于grep、cut、printf、sed、awk 的一些基本用法，没有过多的固定格式化语法，而是通过鲜明的对比与例子进行演示，旨在方便大家更好的记忆与理解！1、grep正则匹配日期格式 YYYY-MM-DD[0-9]{4}-[0-9]{2}-[0-9]{2}匹配IP地址[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}在...

Spark读取Kafka数据的方式有两种，一种是receiver方式，另一种是直连方式。今天分享的SparkStreaming消费Kafka中的数据保存偏移量的两种方式都是基于直连方式上的话不多说 直接上代码 ！第一种是使用zookeeper保存偏移量object KafkaDirectZookeeper {def main(args: Array[String]): Unit = ...

log与offset日志存储路径根据配置log.dirs ，日志文件通过 topic-partitionId分目录，再通过log.roll.hours 和log.segment.bytes来分文件，默认是超过7天，或者是1GB大小就分文件，在kafka的术语中，这被称为段（segment ）。例如00000000000000033986.log，文件名就是offset，除了数据文件之外，相应的还.

1、Partition中的分段存储Segment一个partition被切割成多个相同大小的segment(这个是由log.segment.bytes 决定，控制每个segment的大小)2、Partition中的Segment文件的数据结构接下来看下segment的存储结构segment file组成：由2大部分组成，分别为index file和data file，此2个文件一一对应，成...

消费 kafka 数据时刚开始可以稳定跑一会，但是过不了几分钟就跑出此异常程序中断，java.lang.IllegalStateException: No current assignment for partition解决：是因为我在集群上跑着消费程序，本地也在用相同的消费代码测试，结果就出现了同一个 groupID 在同一时刻多次消费同一个 topic，引发 offset 记录问题。...

一、不丢失数据1.生产者数据不丢失同步模式：配置=1（只有Leader收到，-1所有副本成功，0不等待）。leader partition挂了，数据就会丢失。解决：设置为-1保证produce写入所有副本算成功　　　　　　　　　　producer.type=sync　　　　　　　　　　request.required.acks=-1异步模式，当缓冲区满了，如果配置为0（没有收到确认，一...

ES版本更新迭代速度较快，版本相差不多可能JAVA API就会相差很多，以下是elasticsearch-5.6.1版本对应的JAVA API首先导入pom文件<dependencies><dependency><groupId>junit</groupId><artif.