使用Docker运行hadoop
获取docker镜像sudo docker pull sequenceiq/hadoop-docker:2.7.0运行docker容器sudo docker run -it --name hadoop --rm sequenceiq/hadoop-docker:2.7.0 /etc/bootstrap.sh -bash运行作业在上一步命令执行后,我们就进入命令交...
·
获取docker镜像
sudo docker pull sequenceiq/hadoop-docker:2.7.0
运行docker容器
sudo docker run -it --name hadoop --rm sequenceiq/hadoop-docker:2.7.0 /etc/bootstrap.sh -bash
运行作业
在上一步命令执行后,我们就进入命令交互模式
# 先看一下是否测试数据已经存在
$ bin/hdfs dfs -ls /user/root/input
# 运行作业
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'
# 查看作业执行结果
$ bin/hdfs dfs -cat output/*
# 清空执行结果
$ bin/hdfs dfs -rm output/*
$ bin/hdfs dfs -rmdir output/
更多推荐
已为社区贡献32条内容
所有评论(0)