logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Streming python运行脚本中设置参数——传递到mapper中

一:shell脚本设置参数hadoop jar ./share/hadoop/tools/lib/hadoop-streaming-3.1.3.jar-D stream.non.zero.exit.is.failure=false-files ./py/mapper.py,./py/reducer.py-input $1 \#参数1-output /output-mapper “python3 m

#python#hadoop#开发语言
streming调试

0清风444 2017/06/13 22:01你可以在本地模拟MR的过程,比如以经典的wordcount为例:cat ~/data/words.txt | python word_count_mapper.py | sort | python word_count_reducer.py | sort -nr -k 2 |head -n 10顺便给你贴一下py代码#!/usr/bin/env pyt

#python#linux#开发语言
到底了