logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

上海Spark Meetup第六次聚会

上海Spark Meetup第六次聚会将于2015年8月29日在上海市杨浦云计算创新基地发展有限公司举办。本次聚会由Intel举办。主讲题目:Tachyon: 内存为中心可容错的分布式存储系统摘要: 在越来越多的大数据应用场景诸如机器学习,数据分析等, 内存成为保证和提升性能的关键. Tachyon正是以内存为中心而构建的可容错的分布式存储系统, Tachyon

hadoop2.6.0版本集群环境搭建

一、环境说明1、机器:一台物理机 和一台虚拟机2、linux版本:[spark@S1PA11 ~]$ cat /etc/issueRed Hat Enterprise Linux Server release 5.4 (Tikanga)3、JDK: [spark@S1PA11 ~]$ java -versionjava version "1.6.0_27"Java(TM

#hadoop#yarn#hdfs +1
linux服务器怎么修改时区和时间

Linux 时钟分为系统时钟(System Clock)和硬件(Real Time Clock ,简称RTC )时钟。系统时钟是指当前Linux Kernel中的时钟,而硬件时钟则是主板上由电池供电的时钟,这个硬件时钟可以在BIOS中进行设置。当Linux 启动时,硬件时钟会去读取系统时钟的设置,然后系统时钟就会独立于硬件运作。Linux中的所有命令(包括函数)都是采用的系统时钟设置。在L

Linux下查看进程和线程

在linux中查看线程数的三种方法1、top -H手册中说:-H : Threads toggle加上这个选项启动top,top一行显示一个线程。否则,它一行显示一个进程。2、ps xH手册中说:H Show threads as if they were processes这样可以查看所有存在的线程。3、ps -mp手册中说:m

#linux
最笨的方法解决 使用Snappy 压缩方式报错“java.lang.UnsatisfiedLinkError: no snappyjava in java.library.path”

之前写过一篇这个文章:http://blog.csdn.net/stark_summer/article/details/47361603,那个时候 linux环境 spark 使用snappy方式压缩任然不好用,而今天我同事hive on hadoop 使用snappy压缩方式也报这个错,此刻的我,感觉这个问题 一定要解决我想了想,只能使用最笨的方式先解决这个问题了,将libsnappyja

#spark#hive#linux +1
Install Docker Mac OS X

检查 Mac OS version要求必须是 OS X 10.6 Snow Leopardor newer to run Boot2Docker安装 Boot2Docker列表内容下载地址:https://github.com/boot2docker/osx-installer/releases/download/v1.7.0/Boot2Docker-1.7.0.pkg下载后点击安装

#docker
HBase 系统架构

HBase 系统架构图    组成部件说明   Client:   使用HBase RPC机制与HMaster和HRegionServer进行通信   Client与HMaster进行通信进行管理类操作   Client与HRegionServer进行数据读写类操作   Zookeeper:   Zookeeper Quorum存储-ROOT-表地址、HMa

#hbase#负载均衡#zookeeper
zookeeper伪分布安装和使用

1、下载路径为:2、安装:第一步 解压zookeeper压缩包:

#zookeeper
jetty命令行方式启动jetty-runner.jar 容器

jetty命令行方式启动jetty-runner.jar 容器jetty命令行方式启动jetty-runner.jar 容器

#jetty#jar
clover分布式任务调度系统

1、clover分布式调度介绍clover分布式任务调度是完全使用Java技术自主开发特点如下:1、防单点故障2、job可部署多台,但任务调度时,只有一台参执行。如果一台下线,clover选择其他已在zookeeper注册job来执行。3、可管理监控程序 ,相关负责人的job不可用会发送邮件通知4、提供管理后台,可手动

#zookeeper
    共 24 条
  • 1
  • 2
  • 3
  • 请选择