linux 下eclise上配置hadoop
首先,下载eclipse。安装好hadoop,具体教程见这里:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html然后下载eclipse的hadoop插件,下载地址为:http://download.csdn.net/detail/liujan511536/8533481然后把下载的插件拷贝到eclipse目录下的plugi
首先,下载eclipse。安装好hadoop,具体教程见这里:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html
然后下载eclipse的hadoop插件,下载地址为:http://download.csdn.net/detail/liujan511536/8533481
然后把下载的插件拷贝到eclipse目录下的plugins目录下,重启eclipse。
在eclipse中打开window->preferences(mac用户直接点eclipse->preferences),会有Hadoop Map/Reduce新选项;
点击Hadoop Map/Reduce,在Hadoop installation director中输入你hadoop安装的根目录。
退出preferences。点击window->show view,选择 Map/Reduce Locations(如果没有的话,选择Other,里面应该有),然后窗口中间的下方会出现这个view;在这个view中,右键,New Hadoop Location,在弹出的窗口中,Location name随便填;
然后Map/Reduce Master中的Host和Port对应你hadoop安装时配置的mapred-site.xml中的host和port,我这里的是localhost和9000;
DFS Master对应core-site.xml中的host和port,我的是localhost和9001;然后选上Use M/R master host。
保存退出该页面。在左侧的导航栏中的Project Explorer(如果没有,则在window->show view中选出),选中DFS Locations,如果这里面有两个文件夹,一个为user,另一个为usr,则证明配置正确了。
接下来就是新建项目了:File->New ->Other->Map/Reduce Project,然后输入你的源码就可以了。
接下来要设置map reduce的输入文件夹和输出文件夹:选中源文件,右键,Run AS->Run Configurations;在弹出的窗口中选中Arguments,然后在program argumens中输入你的input和output文件夹(中间以空格隔开),我的是:hdfs://localhost:9000/user/Cloud/input_web hdfs://localhost:9000/user/Cloud/output_web,然后点运行就可以了。
问题描述:1. 如果源文件中找不到org.apache....等这些包,则把你hadoop目录下的lib中的jar包全都添加进来,还有hadoop目录下hadoop-core-1.2.1.jar(不同版本命名有所不同),具体做法是,点击eclipse上面的project->Properties->Java Build Path->Libraries->Add External JARs,然后把上述的包全都加进来就好了。
更多推荐
所有评论(0)