logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

记录一次CDH集群kafka无测试数据报警 各组件图标为空 无数据

问题CDH集群kafka无测试数据报警 各组件图标为空 无数据,但点入web界面,组件仍可用:因为已经解决了所以此处右边的图标都有值。问题页面都没有截图下来,日志也自动已清除。分析:组件可用,只是cm没有监测到位解决:cm的agent机器上停止agent服务:service cloudera-scm-agent stopcm的server机器上停止server服务:service cloudera

sqoop 导入hive失败 java.lang.reflect.InvocationTargetException org.apache.oozie.action.hadoop.LauncherMa

sqoop的导出导入,很多人看日志都看不到出错原因。xshell中执行只能看到启动laucher失败,不能看到真实原因,具体原因应该去yarn的jobhistory上看:查看方法1:搜索这个job编号:job_1582275944250_10373。方法2,直接上jobhistory看最近的几条里面就会有这个刚跑的任务。jobhistory端口号一般是19888,cdh上查看的方法很简单:...

notepad++,无法去掉换行符,无法替换\r\n

查看自己编辑的文档是windows还是unixwindows的换行符 \r\n(CR LF) ,linux上识别不了 (llinux识别的是\n (LF))然后按照相应的\r\n,\n来替换空即可去掉换行符。替换后还是有些看不到的符号,则可能是\t或空格,可以匹配\t,空格来替换。或者可以用notepad++的工具:显示所有字符,然后按照字符来匹配替换。...

cdh中修改配置 包括:hive-site.xml、hbase-site.xml、core-site.xml等

CDH的配置文件放置于/var/run/cloudera-scm-agent/process/目录下。如:/var/run/cloudera-scm-agent/process/193-hdfs-NAMENODE/core-site.xml。这些配置文件是通过Cloudera Manager启动相应服务(如HDFS)时生成的,内容从数据库中获得(即通过界面配置的参数)。在CM界面上更改配置是不会立

Reason :Container marked as failed.exit status:143 内存不够 查询container日志方法

问题:一直在跑的任务突然怎么都跑不成功了。查看日志,没有具体报错原因,主要看到Reason :Container marked as failed.exit status:143由此怀疑是容器资源不够无法起起来。遂更改yarn相关配置。主要是修改最小容器内存和内容增量加大。然并卵。无论怎么调还是不够内存。因此开始认真找报错原因。查询container日志方法:yarn上找到application的

到底了