
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
Streming python运行脚本中设置参数——传递到mapper中
一:shell脚本设置参数hadoop jar ./share/hadoop/tools/lib/hadoop-streaming-3.1.3.jar-D stream.non.zero.exit.is.failure=false-files ./py/mapper.py,./py/reducer.py-input $1 \#参数1-output /output-mapper “python3 m
streming调试
0清风444 2017/06/13 22:01你可以在本地模拟MR的过程,比如以经典的wordcount为例:cat ~/data/words.txt | python word_count_mapper.py | sort | python word_count_reducer.py | sort -nr -k 2 |head -n 10顺便给你贴一下py代码#!/usr/bin/env pyt
到底了