logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

轻松使用zstd来解压缩

1. 工具介绍主要介绍 zstd 工具的作用和性能测试我们称Zstandard或Zstd是一种快速的无损压缩算法,是针对zlib级别的实时压缩方案,以及更好的压缩比。它由一个非常快的熵阶段,由Huff0和FSE库提供。这个项目是作为开源的BSD许可收费的库,以及一个生成和解码.zst格式。性能测试对比Compressor nameRatioCompressionDecompress.zstd 1.

SDN实践

https://tonydeng.github.io/sdn-handbook/

使用钉钉接收gitlab仓库的推送消息

一,在钉钉中的操作1,创建一个群组点击群机器人,然后添加gitlab机器人选择好后点击gitlab机器人设置复制webhook此处钉钉的操作完成下面是gitlab上的操作二,gitlab的操作1,新建一个仓库‘my-test’(你必须是仓库的创建人才有权限操作webhook)2,进入项目里面,my-test>>>settings>>>Integrations如下

#git
kafka遇到Error while fetching metadata xxx: {LEADER_NOT_AVAILABLE}

网上和本人遇到的不太一样:有几种情况:1.少broker或者broker没有运行:https://www.cnblogs.com/yoyowin/p/13091694.html2.kafka的IP配置为外网IP,但是外网端口没屏蔽的:https://blog.csdn.net/lsr40/article/details/92789081本人是运维重启kafka,没有做任何修改,验证是否正常重启时,

#kafka
shell脚本字符串截取的8种方法

shell脚本字符串截取的8种方法假设有变量 var=http://www.aaa.com/123.htm.1. # 号截取,删除左边字符,保留右边字符。1echo ${var#*//}其中 var 是变量名,# 号是运算符,*// 表示从左边开始删除第一个 // 号及左边的所有字符即删除 http://结果是 :www.aaa.com/123.htm2. ## 号截取,删除左边字符,保留右边字符

kafka集群管理工具kafka-manager

一、kafka-manager简介kafka-manager是目前最受欢迎的kafka集群管理工具,最早由雅虎开源,用户可以在Web界面执行一些简单的集群管理操作。具体支持以下内容:管理多个集群轻松检查群集状态(主题,消费者,偏移,代理,副本分发,分区分发)运行首选副本选举使用选项生成分区分配以选择要使用的代理运行分区重新分配(基于生成的分配)使用可选主题配置创建主题(0.8.1.1具有与0.8.

#kafka
zstd优秀的数据压缩算法,大数据小数据包

zstd是Facebook在2016年开源的新无损压缩算法,优点是压缩率和压缩/解压缩性能都很突出。在我们测试的文本日志压缩场景中,压缩率比gzip提高一倍,压缩性能与lz4、snappy相当甚至更好,是gzip的10倍以上。zstd还有一个特别的功能,支持以训练方式生成字典文件,相比传统压缩方式能大大的提高小数据包的压缩率。在过去的两年里,Linux内核、HTTP协议、以及一系列的大数据工具(包

pb,json,二进制,xml数据对比

1. 数据大小对比大多是整数和浮点型的数据,pb比二进制大小减少30%2.序列化和反序列化对比参考:Protobuf 有没有比 JSON 快 5 倍?-InfoQ序列化方案选型对比 - JSON/ProtocolBuffer/FlatBuffer/DIMBIN - 阿里云技术博客的个人空间 - OSCHINA - 中文开源技术交流社区...

#json#xml#python
kafka遇到Error while fetching metadata xxx: {LEADER_NOT_AVAILABLE}

网上和本人遇到的不太一样:有几种情况:1.少broker或者broker没有运行:https://www.cnblogs.com/yoyowin/p/13091694.html2.kafka的IP配置为外网IP,但是外网端口没屏蔽的:https://blog.csdn.net/lsr40/article/details/92789081本人是运维重启kafka,没有做任何修改,验证是否正常重启时,

#kafka
kafka 出现Java heap space的解决方法

问题:测试环境异常,经过查看server.log日志,发现:java.lang.OutOfMemoryError: Java heap space,具体如下:server.log:[2021-03-03 09:25:17,744] ERROR [ReplicaManager broker=1] Error processing append operation on partition ss-li

#kafka
    共 11 条
  • 1
  • 2
  • 请选择