logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

linux下Hadoop1.0.4_单机伪分布式部署和分布式部署

本文是参考HDFS分布式文件系统的深度实践和北风网视频后的总结,以后学习的参考。 一、现在我们看一下CentOS5.6(32)的设置流程1,首先将虚拟机的网卡设置为host-only,   物理机器的虚拟网卡VMnet1的IP设置为192.168.1.1,以后建立的虚拟集群都在这个网段2,启动系统,进入root用户3,CentOS刚安装完毕,要进行初始化设置,使得一些基本命

#mapreduce#hadoop
ZooKeeper的特性

本篇包括以下内容:1、ZooKeeper的数据模型2、ZooKeeper会话及状态3、ZooKeeper watches4、ZooKeeper ACL5、ZooKeeper的一致性保证

ZooKeeper使用场景-Leader选举

Leader选举又称为master选举是zookeeper中最为经典的应用场景了。在分布式环境中,相同的业务应用分布在不同的机器上,有些业务逻辑(例如一些耗时的计算,网络I/O处理),往往只需要让整个集群中的某一台机器进行执行,其余机器可以共享这个结果,这样可以大大减少重复劳动,提高性能,于是这个Leader选举便是这种场景下的碰到的主要问题。ZooKeeper需要在所有的服务(可理解为服务器)中

#zookeeper
JSON格式串以CSV格式保存

在报表项目开发过程中,UI端显示的数据用户想通过界面的”下载“按钮保存下来,而数据已经以JSON格式得到了,这是只需要把json格式的文件转化为excel,怎么转化,开源的有org.json.CDL,但这个东东的缺点是转化后就不能UI上的顺序保持一致。

Hadoop源码分析_DatanodeDescriptor

/*** Licensed to the Apache Software Foundation (ASF) under one* or more contributor license agreements.See the NOTICE file* distributed with this work for additional information* regard

org.apache.zookeeper.ClientCnxn: Opening socket connection to server localhost/127.0.0.1:218

在vmware中安装hadoop伪分布式,使用host-only模式使用hbase shell一直正常,后来为了能上网改为了Briged模式。启动后再命令端看到了关于hbase的异常信息org.apache.zookeeper.ClientCnxn: Opening socket connection to server localhost/127.0.0.1:2181. Will not a

到底了