logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

高效团队的gitlab flow最佳实践

当前git是大部分开发团队的首选版本管理工具,一个好的流程规范可以让大家有效地合作,像流水线一样有条不紊地进行团队协作。业界包含三种flow:Git flowGithub flowGitlab flow下面我们先来分析,然后再基于gitlab flow来设计一个适合我们团队的git规范。

#git#github
kafka遇到Error while fetching metadata xxx: {LEADER_NOT_AVAILABLE}

网上和本人遇到的不太一样:有几种情况:1.少broker或者broker没有运行:https://www.cnblogs.com/yoyowin/p/13091694.html2.kafka的IP配置为外网IP,但是外网端口没屏蔽的:https://blog.csdn.net/lsr40/article/details/92789081本人是运维重启kafka,没有做任何修改,验证是否正常重启时,

#kafka
shell脚本字符串截取的8种方法

shell脚本字符串截取的8种方法假设有变量 var=http://www.aaa.com/123.htm.1. # 号截取,删除左边字符,保留右边字符。1echo ${var#*//}其中 var 是变量名,# 号是运算符,*// 表示从左边开始删除第一个 // 号及左边的所有字符即删除 http://结果是 :www.aaa.com/123.htm2. ## 号截取,删除左边字符,保留右边字符

kafka集群管理工具kafka-manager

一、kafka-manager简介kafka-manager是目前最受欢迎的kafka集群管理工具,最早由雅虎开源,用户可以在Web界面执行一些简单的集群管理操作。具体支持以下内容:管理多个集群轻松检查群集状态(主题,消费者,偏移,代理,副本分发,分区分发)运行首选副本选举使用选项生成分区分配以选择要使用的代理运行分区重新分配(基于生成的分配)使用可选主题配置创建主题(0.8.1.1具有与0.8.

#kafka
zstd优秀的数据压缩算法,大数据小数据包

zstd是Facebook在2016年开源的新无损压缩算法,优点是压缩率和压缩/解压缩性能都很突出。在我们测试的文本日志压缩场景中,压缩率比gzip提高一倍,压缩性能与lz4、snappy相当甚至更好,是gzip的10倍以上。zstd还有一个特别的功能,支持以训练方式生成字典文件,相比传统压缩方式能大大的提高小数据包的压缩率。在过去的两年里,Linux内核、HTTP协议、以及一系列的大数据工具(包

pb,json,二进制,xml数据对比

1. 数据大小对比大多是整数和浮点型的数据,pb比二进制大小减少30%2.序列化和反序列化对比参考:Protobuf 有没有比 JSON 快 5 倍?-InfoQ序列化方案选型对比 - JSON/ProtocolBuffer/FlatBuffer/DIMBIN - 阿里云技术博客的个人空间 - OSCHINA - 中文开源技术交流社区...

#json#xml#python
kafka遇到Error while fetching metadata xxx: {LEADER_NOT_AVAILABLE}

网上和本人遇到的不太一样:有几种情况:1.少broker或者broker没有运行:https://www.cnblogs.com/yoyowin/p/13091694.html2.kafka的IP配置为外网IP,但是外网端口没屏蔽的:https://blog.csdn.net/lsr40/article/details/92789081本人是运维重启kafka,没有做任何修改,验证是否正常重启时,

#kafka
kafka 出现Java heap space的解决方法

问题:测试环境异常,经过查看server.log日志,发现:java.lang.OutOfMemoryError: Java heap space,具体如下:server.log:[2021-03-03 09:25:17,744] ERROR [ReplicaManager broker=1] Error processing append operation on partition ss-li

#kafka
zstd优秀的数据压缩算法,大数据小数据包

zstd是Facebook在2016年开源的新无损压缩算法,优点是压缩率和压缩/解压缩性能都很突出。在我们测试的文本日志压缩场景中,压缩率比gzip提高一倍,压缩性能与lz4、snappy相当甚至更好,是gzip的10倍以上。zstd还有一个特别的功能,支持以训练方式生成字典文件,相比传统压缩方式能大大的提高小数据包的压缩率。在过去的两年里,Linux内核、HTTP协议、以及一系列的大数据工具(包

暂无文章信息