熟练掌握常用的hadoop shell命令
1.打开终端模拟器,切换到/apps/hadoop/sbin目录下,启动Hadoop
2.执行jps,检查一下Hadoop相关进程是否启动
3.在/目录下创建一个test1文件夹
4.在Hadoop中的test1文件夹中创建一个file.txt文件
5.查看根目录下所有文件
6.还可以使用ls -R的方式递归查看根下所有文件
7.将Hadoop根下test1目录中的file.txt文件,移动到根下并重命名为file2.txt
8.将Hadoop根下的file2.txt文件复制到test1目录下
9.在Linux本地/data目录下,创建一个data.txt文件,并向其中写入hello hadoop!
10.将Linux本地/data目录下的data.txt文件,上传到HDFS中的/test1目录下
11.查看Hadoop中/test1目录下的data.txt文件
12.除此之外还可以使用tail方法
13.查看Hadoop中/test1目录下的data.txt文件大小

14.text方法可以将源文件输出为文本格式。允许的格式是zip和TextRecordInputStream。
15.stat方法可以返回指定路径的统计信息,有多个参数可选,当使用-stat选项但不指定format时候,只打印文件创建日期,相当于%y
16.将Hadoop中/test1目录下的data.txt文件,下载到Linux本地/apps目录中
17.查看一下/apps目录下是否存在data.txt文件

18.使用chown方法,改变Hadoop中/test1目录中的data.txt文件拥有者为root,使用-R将使改变在目录结构下递归进行。
19.使用chmod方法,赋予Hadoop中/test1目录中的data.txt文件777权限
20.删除Hadoop根下的file2.txt文件
21.删除Hadoop根下的test1目录
22.当在Hadoop中设置了回收站功能时,删除的文件会保留在回收站中,可以使用expunge方法清空回收站。

23.使用Shell命令执行Hadoop自带的WordCount
首先切换到/data目录下,使用vim编辑一个data.txt文件,内容为:hello world hello hadoop hello ipieuvre

在HDFS的根下创建in目录,并将/data下的data.txt文件上传到HDFS中的in目录
我们执行其中的worldcount类,数据来源为HDFS的/in目录,数据输出到HDFS的/out目录
查看HDFS中的/out目录
24.进入Hadoop安全模式

25.退出Hadoop安全模式
26.切换到/apps/hadoop/sbin目录下,关闭Hadoop

更多推荐
所有评论(0)