logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

spark学习十二 hive on spark 环境搭建及测试

安装概览整体的安装过程分为以下几步搭建Hadoop集群 (整个cluster由3台机器组成,一台作为Master,另两台作为Slave)编译Spark 1.0,使其支持Hadoop 2.4.0和Hive运行Hive on Spark的测试用例 (Spark和Hadoop Namenode运行在同一台机器)Hadoop集群搭建创建虚拟机创建基于kvm的虚拟机,

#spark
自制虚拟机

本文根据icemanind的《How to Create Your Own Virtual Machine》系列文章编译,并进行了大量改造(已征得作者同意)。原文发表于codeproject.com网站,链接地址如下:第一部分 · 第二部分源代码:点击下载英文教程:点击下载序言By Conmajia各位,你正在阅读的这个系列的文章将从零开始,

#虚拟机
Java虚拟机中的缓存

随着多核CPU的高速发展,为了充分利用硬件的计算资源,操作系统的并发多任务功能正变得越来越重要,但是CPU在进行计算时,还需要从内存读取输出,并 将计算结果存放到内存中,然而由于CPU的运算速度比内存高几个数量级,CPU内的寄存器数量和容量有限,为了不让CPU长时间处于等待内存的空闲状态, 在CPU和内存之间引入了速度接近CPU的高速缓存Cache作为CPU和内存之间的缓冲。计算机硬件并发的原理如

自制编译器:后端代码生成

所谓的编译器后端的作用就是将语法树翻译成目标机器码。所谓目标机器码,考虑到直接翻译成具体平台(如X86,ARM等)过于复杂,因此先设计一个虚拟机,并翻译成这个虚拟机的机器码。对于虚拟机以及其指令格式可参考这篇文章http://blog.csdn.net/roger__wong/article/details/8947720,如何去尝试实现这个虚拟机是在我的另外一个系列的博客里进行论述。

15个不错的开源数据库

1、MongoDB介绍MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。主要解决的是海量数据的访问效率问题,为WEB应用提供可扩展的高性能数据存储解决方案。当数据量达到50GB以上的时候,MongoDB的数据库访问速度是MySQL的10倍以上。MongoDB的并发读写效率不是特别出色,根据官方提供的性能测试表明,大约每秒可以处理0.5万~1.5万次读写请求。Mong

scala学习十 servlet开发

举个小例子,先熟悉一下:import javax.servlet.http.{HttpServlet,HttpServletRequest => HSReq, HttpServletResponse => HSResp}class HelloScalaServlet extends HttpServlet{override def doGet(req : HSReq, res

#scala
到底了