Linux Hadoop HDFS 操作 简记
LinuxHadoophdfs简单操作启动HDFS、查看进程是否存在jps后缺少进程(namenode、datanode,secondnamenode)解决办法
基本的基本~
hadoop fs:适用于任何不同的文件系统,如本地文件系统和hdfs文件系统
hadoop dfs 或 hdfs dfs:只适用于HDFS文件系统
HDFS命令与Linux命令基本一致,只不过要在命令前加hadoop
start-all.sh 启动HDFS、启动YARN集群
jps 查看namenode、datanode,secondnamenode三个进程
以此保证hadoop已经安装成功且启动
若jps后发现缺少进程,可将设置存储Hadoop的信息目录清空(一般为tmp目录),将此目录清空即可。也可直接删除此目录,然后新建一个。然后,进行格式化(hdfs namenode -format)这样所产生的NameNode和DataNode信息都是新的,也都是一组的,问题就解决了
注意:格式化之前要stop-all.sh,否则无法实现想要结果
常用命令:
hadoop fs -ls ([-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u]) 目录路径
hadoop fs -df -h (统计文件系统的可用空间信息)
hadoop fs -put 文件HDFS目录 (可以把本地或者hdfs上的文件拷贝到hdfs中)
hadoop fs -moveFromLocal (从hdfs将文件传到本地)
hadoop fs -moveToLocal
hadoop fs -appendToFile 文件名 ( 追加一个文件到已经存在的文件末尾)
hadoop fs -cat (显示文件内容)
hadoop fs -text (以字符形式打印一个文件的内容)
hadoop fs -get HDFS文件 本地文件 (从hdfs下载文件到本地)
hadoop fs -getmerge 目录路径* 文件 (合并下载多个文件)
hadoop fs -copyToLocal (从hdfs下载文件到本地)
hadoop fs -copyFromLocal (严格限制只能拷贝本地文件到hdfs中)
hadoop fs -mkdir -p (将上层目录一起建好) (后面可以加新建目录路径和新建目录名称)
hadoop fs -rmdir (删除空目录)
hadoop fs -chmod (修改权限)
hadoop fs -chgrp (改变文件或目录的所属群组)
hadoop fs -chown (改变文件或者目录的所有者)
hadoop fs -mv (移动/改名)
hadoop fs -getmerge (合并下载多个文件)
hadoop fs -rm
hadoop fs -rm -r (删除文件或文件夹)
hadoop fs -du 目录路径 (显示目录下所有文件的大小)
hadoop fs -count (查看文件大小)
hadoop fs -stat (指定路径的统计信息)
hadoop fs -cp (目标目录存在,则追加cp的数据,若不存在,则创建目录并写入cp的数据)
hdfs dfsadmin –report (查看集群的工作状态)
更多推荐
所有评论(0)