logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Channel closed [channel=c1]. Due to java.io.IOException: Usable space exhausted, only 441741312 byte

flume报错:这是由于我们flume数据存储在服务器上的目录的磁盘空间不满足于flume配置文件的磁盘配置解决办法:增大磁盘空间或改小文件配置a1.channels.c1.minimumRequiredSpace = 102400

文章图片
#flume
安装spark,运行时报错:Exception in thread “main“ java.lang.VerifyError: Uninitialized object exists on backw

问题报错原因这是由于安装的jdk版本太低造成的,因此只要升级jdk版本即可原先版本升级版本运行成功参考安装的是spark3.2版本升级到jdk1.8.0_141即可

文章图片
#spark#java#大数据 +1
spark基于yarn运行报错:Required executor memory (1024 MB), offHeap memory (0) MB, overhead (384 MB), and Py

问题报错解决方法修改yran-site.xml文件<!-- 设置RM内存资源配置,两个参数 --><property><description>The minimum allocation for every container request at the RM,in MBs. Memory requests lower than this won't tak

文章图片
#spark#yarn#大数据
python使用清华源下载包

代码】python使用清华源下载包。

文章图片
#python
azkaban上传zip文件报错:Installation Failed.MALFORMED

问题报错原因项目中所有的sh脚本文件没有进行转码工作解决办法在电脑空白位置右击(确保已经安装git)打开git bash here 然后 cd 到指定路径吗,输入以下命令find ./ -name "*.sh" | xargs dos2unix...

文章图片
#大数据
XShell突然间无法连接虚拟机

今天要用到虚拟机,然后就使用XShell连接,可是现实无法连接,然后我又用其他工具连接,也无法连接,明明之前还能连接的。解决办法首先这个方法是保证你的其他配置没问题,也就是之前能连接禁用,再启用VM8网卡 即可...

文章图片
#虚拟机
hadoop的namenode无法启动只能通过格式化解决?

问题报错问题忘记记录了,口头描述一下吧,事情是这样的,今天启动hadoop集群的时候,突然namenode无法启动了,之前都是可以正常启动的,我回忆了一下,应该是我最后一次不正常的操作导致的后果,hadoop集群启动的时候,直接关闭了虚拟机,因此上网查找解决办法,但是大多数都是要格式化才能解决,这样的话,数据就全部丢失了。如何解决既然问题已经找到了,最后一次的启动造成的,那么我们可以回退hadoo

文章图片
#hadoop#大数据#hdfs
windows版本的winutils.exe和hadoop.dll作用

windows本地运行mr程序时(不提交到yarn,运行在jvm靠线程执行),hadoop.dll防止报nativeio异常、winutils.exe没有的话报空指针异常。

#hadoop#hbase#mapreduce
raise RuntimeError(‘DataLoader worker (pid(s) {}) exited unexpectedly‘.format(pids_str))RuntimeErro

今天在使用pytorch加载数据时出现如下错误:raise RuntimeError('DataLoader worker (pid(s) {}) exited unexpectedly'.format(pids_str))RuntimeError: DataLoader worker (pid(s) 4252, 17184) exited unexpectedly仔细分析了一下,原因定位在num

#python#深度学习#pytorch
Exception in thread “main“ org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after at

使用HBase API连接HBase集群时一直报错查看报错原因 :报错原因说是无法不知道hadoop102.hadoop.com这个域名其实这个信息,并不是Hbase的异常,而是客户端找不到zookeeper的解析地址,由于Hbase是通过hostname解析IP地址的(DNS),Zookeeper只会返回Hbase的域名,需要客户端通过DNS或本地hosts文件进行解析。本机无法解析hadoop

文章图片
#hadoop#apache#hbase
    共 14 条
  • 1
  • 2
  • 请选择