zookeeper集群shell脚本启动与关闭提示：适用于使用shell脚本控制zookeeper集群的启动与关闭：使用前准备工作介绍脚本介绍启动与关闭zk集群一、使用前准备工作介绍：1.zookeeper安装目录/hadoop/zookeeper-3.4.102.配置好环境变量3.三台主机(或者是虚拟机)修改了主机名、关闭了防火墙、并配...

Nexus创建Maven私服说明参考文献;https://blog.csdn.net/trustyourself1/article/details/80423569https://www.jb51.net/article/152942.htm一、私服介绍私服是指私有服务器，是架设在局域网的一种特殊的远程仓库，目的是代理远程仓库及部署第三方构建。有了私服之后，当 Maven 需要下载构件时，...

ELK搭建过程中遇到的问题ElasticSearch+kibana+logstash监控和分析系统https://blog.csdn.net/jklfjsdj79hiofo/article/details/72355167我是用的版本组合（注意版本之间的组合）：kibana-6.0.1-linux-x86_64.tar.gzelasticsearch-6.0.1.tar.gzlogst...

在k8s上部署elasticsearchhttps://staight.github.io/2019/09/16/%E5%9C%A8k8s%E4%B8%8A%E9%83%A8%E7%BD%B2elasticsearch/

最新领导要求整理kafka的搭建整理文档，特此整理如下：一、Kafka集群搭建1. 安装环境：centos，jdk8，安装好的zookeeper环境，三台相同的机器作为节点2下载、解压kafka，版本是kafka_2.11-1.1.0；生产环境为：/hadoop/测试环境下为：/home/3.修改配置进入kafka的安装目录下，修改配置文件server.properties即可。...

kafka传递大消息体时的配置created by cms/fangchangtan | 2020/09/301.生产端设置//数据太大，发送失败，设置 max.request.sizeprops.put("max.request.size", "300000000");/*socket 在读写数据时用到的TCP 缓冲区也可以设置大小。如果它们被设为-1 ，就使用操作系统的默认值。如果生产者或消费

kafka+flume+aws S3安装与配置一、下载并解压、安装相应的版本hadoop版本为2.9.2，flume的_本为1.9.0下载hadoop地址为：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz下载flume地址：https://mirrors.t...

个别task导致spark任务整体变慢的问题总结问题：个别task速度慢而拖慢整体任务的问题现象描述：1.stage1阶段中的kafka的receiver接受kafka中不同partiton中的相同批次中拉取的记录条数record不同，导致同一个批次的不同task处理时间偏长(处理任务时间倾斜)这个要结合业务进行优化（是否可以对kafka分区中对key做hash分区的时候离散化？）2....

elk消费kafka数据延迟过大的问题1.问题现象表述：当前elk作为日志系统消费kafka日志数据有很大的延迟，即elk的消费kafka中日志的速度（200条/s）远远低于maplearning生产日志的速度（平均3000条/s）（吐出的日志topic：log_trialproducetion）；导致从kibana中查询最新的es日志数据的时间远远低于当前时间，在实际生产环境或【预上线】...

一、情况介绍：基于scala语言的Flink从kafka中消费数据，然后使用protobuf解析，当然默认是使用string解析的，此处需要指定接收的数据格式package cetc.kakfa2flinkimport java.io.IOExceptionimport java.util.Propertiesimport com.hxy.protobuf.DSFusionimpo...