logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

org.apache.hadoop.fs.ChecksumException:Checksum error(hadoop put指令用不了报错)

从本地上传文件bb到集群报如下异常:org.apache.hadoop.fs.ChecksumException:Checksumput: Checksum error: file:/etc/profile at 2048 exp: -925270806 got: 536193734hadoop客户端将本地文件bb上传到集群上时,会通过fs.FSInputChecker判断需要上传的文件是否存在.

#hadoop#大数据
Linux Centos7与辅助工具MobaXter连接使用的方法(有安装包)

在打开虚拟机的基础上点击Session点击SSH输入自己的虚拟机IP地址第二个点击可以输入账户密码,可实现免密登录输入别名虚拟机用户名和密码选择刚才设置的账户完成以上步骤进行ok列表多出了刚才连接的虚拟机双击出现如图界面即是Moba 与虚拟机连接成功!...

SparkRDD算子(二)(键值对聚合操作 combineByKey)

Spark RDD算子 键值对聚合操作 combineByKeycombineByKeyScala版本java版本combineByKey聚合数据一般在集中式数据比较方便,如果涉及到分布式的数据集,该如何去实现呢。这里介绍一下combineByKey, 这个是各种聚集操作的鼻祖,应该要好好了解一下,参考scala API简要介绍def combineByKey[C](createCombiner:

#spark
到底了