logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

linux awk 过滤某一列的数字大于10的行

cat group-partition.log | awk -F ':' '$2>100{print $0}'说明:-F 以什么分隔列$2代表第二列$2>100 代表第二列大于100print $0 代表输出一整行

idea maven 报错 使用Lombok 编译报找不到符号

1. 问题mvn compile 编译报错,找不到Lombok2. 环境1) 已经引入lombok的jar包2) idea已经安装lombok插件 ,并重启3. 查看详细日志mvn compile -X发现claspath里面的jar路径不对,显示的是windows下的路径,而我是linux系统4. 解决修改maven的setting....

linux vi查看末尾结束符

1. 背景在windows中经常使用notepad++查看末尾结束符,在linux下如何查看呢?原因: 在windows下创建的文件,内容在Linux下运行报错2. vi 查看只需要:set invlist即可以将不可见的字符显示出来,例如,会以^I表示一个tab符,$表示一个回车符等...

Kafka--Caused by: kafka.common.ConsumerRebalanceFailedException

说明最近一个项目需要订阅kafka的某个topic的消息,当时运行很正常,过了几天发现项目启动时,报异常Caused by: org.springframework.beans.factory.BeanCreationException: Error creating bean with name'com.ximalaya.kafka.consumer.KafkaConsumerList

#kafka
实时大数据处理框架Storm---推送系统

1.背景最近在接触实时大数据框架Storm,要求延时在秒级,需求包括用户转账实时APP和短信通知,新股破板通知等;数据规模在每天百万级,高峰期每秒1000。2.架构设计2.1 分块该系统主要包括三部分:数据采集模块,数据加工模块,数据推送模块。数据采集模块通过接收对应Topic的Kafka消息来实现,需要根据数据量设置分区个数,数据保留周期,数据发送准确级别(不重发,漏发);

#storm#大数据
Linux下grep匹配中文字符

github地址:https://github.com/longyu1091.背景最近在解析.vcf文件,想提取其中的姓名和邮箱地址,发现linux下匹配中文与java下匹配中文有所不一样,java下匹配格式为[\u4e00-\u9fa5],注意java下有的特殊字符需要转义,也就是再加一个\。但是,当我将此格式用于grep命令中时,发现失效了,出来的是全部的字符,感觉...

#linux
git如何统计代码提交行数

1. 问题如何查看每个人的代码提交行数2. 实现2.1 查看git上个人代码量// 修改usernamegit log --author="username" --pretty=tformat: --numstat | awk '{ add += $1; subs += $2; loc += $1 - $2 } END { printf "added lines: %s...

java计算二叉树的高度以及叶节点个数

github地址:https://github.com/longyu109java实现二叉树的相关操作代码如下package 二叉树有关;import java.util.ArrayDeque;import java.util.Queue;public class CreateTree {/*** @param args*/publ...

#java
Kafka学习之怎么保证不丢,不重复消费数据

Kafka学习之怎么保证不丢,不重复消费数据Kafka作为当下流行的高并发消息中间件,大量用于数据采集,实时处理等场景,我们在享受他的高并发,高可靠时,还是不得不面对可能存在的问题,最常见的就是丢包,重发问题。丢包问题:消息推动服务,每天早上,手机上各终端都会给用户推送消息,这时候流量剧增,可能会出现kafka发送数据过快,导致服务器网卡爆满,或者磁盘处于繁忙状态,可能会出现丢包现象。解

到底了