logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

基于MapReduce的应用案例

项目托管于 Github,欢迎Star | Fork环境说明Hadoop搭建环境:| 虚拟机操作系统: CentOS6.364位,单核,1G内存| JDK:1.7.0_60 64位| Hadoop:2.4.1MR程序编译环境:| Eclipse IED| mapred.LocalJobRunner本地运行模式准备测试数据测试数据包括两个文件

#mapreduce#hadoop#github
克隆VMware虚拟机及克隆后修改系统参数的全过程

克隆VM lunix虚拟机克隆之前local模式下调试的spark虚拟机,采用克隆完整文件的模式修改unix系统参数通过上一步的克隆,得到多个unix系统环境,现在拿其中一个进行修改举例,其余部分大致相同,除了IP和主机名以外。第一步 修改mac地址在虚拟机还未启动之前,先修改该系统的mac地址,如下操作所示。生成新的mac地址,并用记事本记录

#linux
基于Hadoop的分布式云存储系统

项目托管于 Github,欢迎Star | Fork 留言互相学习 基于Hadoop的分布式云存储系统项目简介HDFS网盘,用户注册登录后可以将数据文件保存到云端的一种分布式云存储系统,可以在任何时候通过浏览器对文件进行管理和下载等操作。项目采用B/S结构和MVC开发模式,基于HDFS文件操作API,使用JSP+Servlet开发实现以及Bootstrap框架渲染。主要完成对文件的管理...

#hadoop#hdfs
linux Shell脚本编码格式修改

在windows下写好的shell脚本,放到linux上执行,往往会因为编码格式的问题存在兼容问题:  -bash: ./lbs-circle-server.sh: /bin/sh^M: bad interpreter: No such file or directory这是由于文件编码格式为windows doc,在vi命令模式中使用 :set ff 命令,可以看到改文件的格式为dos...

用servlet记录用户访问次数

用servlet记录用户访问次数网站的计数器功能,浏览者每访问一次网站,计数器就累加一次。实现计数器主要是在servlet中应用ServletContext接口,Servlet容器在启动一个Web应用时,会为它创建一个ServletContext对象。当Servlet容器终止一个Web应用时,ServletContext对象也会被销毁,所以该对象与Web应用程序有同样的生命周期。也就是说,整个We

#servlet
【Linux编译内核】Redhat9(内核版本2.4.20-8)编译内核到版本(2.4.26)

文章原地址:redhat9(内核版本2.4.20-8)编译内核到版本(2.4.26)文章的大部分都转载自网友在编译内核的所写的心路历程,另外有一些个人碰到的问题,我会在括号里标出。前言在我写这篇文章的时候,还是一个linux的初学者,经历了n次失败后的成功当然是兴奋的,于是很想把她写下来。我的操作系统是Redhat9,其内核版本为2.4.20-8 ,需要升级到2.4.26,采用

#linux
AWS-EC2自动挂载EBS卷或磁盘

linux下自动挂载的配置文件是放在[root@ip-172-31-10-1 mongodb]# cat /etc/fstab## /etc/fstab# Created by anaconda on Mon Feb 22 17:08:22 2016## Accessible filesystems, by reference, are maintained under '/d...

Hadoop、Storm和Spark 三者的区别、比较

一、hadoop、Storm该选哪一个?为了区别hadoop和Storm,该部分将回答如下问题:1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景,什么情况下使用hadoop4.什么是吞吐量首先整体认识:Hadoop是磁盘级计算,进行计算时,数据在磁盘上,需要读写磁盘;Storm是内存级计算,数据直接通过网络导入内存。读写内存

#hadoop#spark#storm
到底了