logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

kafka0.11版本消费报错Group coordinator is unavailable or invalid, will attempt rediscovery

报错消费单节点kafka要么消费很缓慢要么报错Group coordinator ip:9092 (id: 2147483647 rack: null) is unavailable or invalid, will attempt rediscovery重启节点也没用分析单节点情况下coordinator 压力太大了__consumer_offsets这个元主题的历史消息量分配不均衡有分区kb、

#kafka
【JAVA_SE】IO流

1、流的分类读取数据就是输入流,写入数据就是输出流。按照处理的数据单位分为字节流和字符流字节流:操作的数据单元是8位的字节。InputStream、OutputStream作为抽象基类。字符流:操作的数据单元是字符。以Writer、Reader作为抽象基类。注意: 字节流可以处理所有数据文件,若处理的是纯文本数据,建议使用字符流。2、IO流中的三类数据源基于磁盘文件:FileInputStream

#java
Doris0.15版本建表报错Failed to find enough host with storage medium and tag

报错建表CREATE TABLE `dwd_osms_organization` (`oid` int(11) NOT NULL COMMENT "",`name` varchar(255) NULL COMMENT "组织名称",`type` int(11) NULL COMMENT "组织类型,1公司/2项目组/3地区/4部门/5大组/6高级经理团队/7经理团队/8见习经理团队/9小组/10见

#数据库#database
Doris0.15版本建表报错Failed to find enough host with storage medium and tag

报错建表CREATE TABLE `dwd_osms_organization` (`oid` int(11) NOT NULL COMMENT "",`name` varchar(255) NULL COMMENT "组织名称",`type` int(11) NULL COMMENT "组织类型,1公司/2项目组/3地区/4部门/5大组/6高级经理团队/7经理团队/8见习经理团队/9小组/10见

#数据库#database
Doris连接报错Reach limit of connections

报错分析doris中有两个连接数配置全部用户最大连接数(默认)qe_max_connection=1024单个用户最大连接数(默认)max_user_connections=100解决SET PROPERTY FOR 'course_test' 'max_user_connections' = '500';

#sql
【Ambari2.7.3源码分析】Agent命令状态上报器CommandStatusReporter

1、Agent init 7 threads还是一样的,Agent在这个InitializerModule.py中,init_threads()方法初始化了如下七个线程本文对命令状态上报器CommandStatusReporter进行了归纳总结2、CommandStatusReporter.py2.1、endless loop every 5 seconds default跟组件状态收集器Comp

#ambari
大数据平台安全策略(Kerberos,Sentry,Ranger)

近些年来大数据所用到的的安全方案主要有如下三种Kerberos(业界常用的服务认证)Sentry(Cloudera选用的方案,cdh版本集成)Ranger(Hortonworks选用的方案,hdp发行版集成)KerberosKerberos只能控制你是否能访问服务,不能控制到很细的粒度比如说,它可以控制你访问hive与否,但是对于hive的表没有用户级别的权限控制没有实现(需要集成...

一文读懂Kafka零拷贝

broker 维护的消息日志本身就是一个文件目录,每个文件都由一系列以相同格式写入到磁盘的消息集合组成,这种写入格式被 producer 和 consumer 共用。保持这种通用格式可以对一些很重要的操作进行优化: 持久化日志块的网络传输。 现代的unix 操作系统提供了一个高度优化的编码方式,用于将数据从 pagecache (页缓存)转移到 socket 网络连接中;在 Linux 中系统调用

#大数据#linux
Apache Knox报错大全

knox错误总结windows browser 有时候打不开Knox UIhosts文件添加 Knox 的{{GATE_WAY}}ip的映射就可以打开界面了打开Knox admin_UI后显示不完全需要 下载特定的js,私信我即可解决Knox 配置yarn service报错2020-03-17 17:07:13,311 ERROR knox.gateway (Gateway...

#apache#大数据#ambari +1
linux tree安装(三步走)

下载上传至linuxlinux直接yum安装yum install tree本地下载源码包上传如果yum源没有的话,可以下载源码包http://mama.indstate.edu/users/ice/tree/选择第二个进行下载解压tar -zxvf tree-1.8.0.tgz(我下载的是1.8)编译cd tree-1.8.0make installOK,搞定tree...

#linux
    共 31 条
  • 1
  • 2
  • 3
  • 4
  • 请选择