
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
Hadoop之HDFS
Block1写入Block1确认Block2写入Block2确认:类似Block1的确认流程重复:直到所有数据块写入完成。
Hadoop之MapReduce
如果想要把⼀个⾃定义的数据类型作为K2V2或者K3V3来使⽤,那么就必须要实现序列化的接⼝Writable。如果这个⾃定义的数据类型是⼀个Key的数据类型,则还需要在满⾜⽐较的条件,也就是再额外实现⼀个Comparable的接⼝或者可以直接实现WritableComparable接⼝。/*一些java自定义函数.... *///* 序列化⽅法,将属性序列化成字节序列//将属性写到输出流程//如果不
Hadoop之javaAPI写HDFS的shell命令
很多时候,我们都是在IDE开发⼯具中,通过Java、Python等代码来对Hadoop进⾏操作。我们添加的Hadoop相关依赖包版本,尽量与⾃⼰的Hadoop服务器版本⼀致,具体代码可以见他人文章。来,我们来学习如何通过IDE⼯具,实现对HDFS的操作。⼀. IDE远程管理HDFS。⼀. IDE远程管理HDFS。10. IOUtil下载⽂件。9. IOUtil上传⽂件。3. 获取⽂件系统对象。11
到底了








