spark_submit.sh#!/bin/sh# spark_submit.sh# 这是提交spark任务到yarn分布式集群上的自动化脚本export HADOOP_HOME=/home/elon/hadoop/hadoop-2.7.5spark-submit --master yarn --deploy-mode client --class org.training....

更新中…

项目托管于 Github，欢迎Star | Fork环境说明Hadoop搭建环境：| 虚拟机操作系统： CentOS6.364位，单核，1G内存| JDK：1.7.0_60 64位| Hadoop：2.4.1MR程序编译环境：| Eclipse IED| mapred.LocalJobRunner本地运行模式准备测试数据测试数据包括两个文件

克隆VM lunix虚拟机克隆之前local模式下调试的spark虚拟机，采用克隆完整文件的模式修改unix系统参数通过上一步的克隆，得到多个unix系统环境，现在拿其中一个进行修改举例，其余部分大致相同，除了IP和主机名以外。第一步 修改mac地址在虚拟机还未启动之前，先修改该系统的mac地址，如下操作所示。生成新的mac地址，并用记事本记录

项目托管于 Github，欢迎Star | Fork 留言互相学习 基于Hadoop的分布式云存储系统项目简介HDFS网盘，用户注册登录后可以将数据文件保存到云端的一种分布式云存储系统，可以在任何时候通过浏览器对文件进行管理和下载等操作。项目采用B/S结构和MVC开发模式，基于HDFS文件操作API，使用JSP+Servlet开发实现以及Bootstrap框架渲染。主要完成对文件的管理...