logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

HBase-5.提高HBase客户端的读写性能方法

(1)       开启bloomfilter过滤器,开启bloomfilter比没开启要快3、4倍(2)       hbase对于内存有特别的嗜好,在硬件允许的情况下配足够多的内存给它通过修改hbase-env.sh中的export HBASE_HEAPSIZE=3000 #这里默认为1000m(3)       修改java虚拟机属性替换掉默认的垃圾回收器,因为默认的垃圾

#hbase
ES001-Elasticsearch入门

1、ES是什么?Elasticsearch是基于Lucence实时 分布式 搜索和分析 引擎。在云计算中,可达到实时搜索。基于RESTful接口。例如: 普通请求是...get?a=1rest请求....get/a/1Elasticsearch的用户GitHub,Wikipedia,ebay2、ES VS SOLR2.

【MySQL】Linux + MySQL图形化管理工具(五)

phpMyAdmin定义phpMyAdmin是一款使用PHP编写的开源MySQL图形话管理配置程序。具体官方网址:http://www.phpMyAdmin.netphpMyAdmin功能1.      可以通过Web界面对MySQL管理;2.      可以创建、删除数据库;3.      可以创建、更改和删除数据表,管理数据;4.      可以执行SQL语句,管理

HBase-3.HBase读数据和存储数据原理

客户端读取信息流程(1)client要读取信息,先查询下client 端的cache中是否存在数据,如果存在,刚直接返回数据。如果不存在,则进入到zookeeper,查找到里面的相应数据存在的Root表中的地址。 (2)BlockCache;设计用于读入内存频繁访问的数据,每个列族都有 (3)通过数据存在ROOT表中地址找到.META,最终找到HRegion。找到HRegion

#hbase
HBase-2.HBase 的体系结构、行键、列族设计

HBase体系结构l  Client -包含访问HBase接口并维护cache来加快对HBase的访问l  ZooKeeper-保障任务时候,仅有一个Master节点-存储Region的寻址入口-实时监控RegionServer的上线和下线信息。并实时通知Master-存储HBase的schema和table的元数据信息,通过ls /hbase可以查看l  Mast

#hbase
Linux + Memcache安装与配置

Memcache是danga.com的一个开源项目,它是一个高性能的分布式的内存对象缓存系统,通过在内存里维护一个统一的巨大的Hash表,能够用来存储各种格式的数据。目前全世界不少人使用这个缓存项

#服务器
John the Ripper 破解Linux 密码

第一步: 创建john用户Linux用户创建用户  useradd-m john设置密码  passwd -f john第二步: 下载及安装john破解工具下载最新的john程序(官方地址):http://www.openwall.com/john/安装  # tar -zxvfjohn-1.7.4.2.tar.gz  # cd john-1.7.4.2 # c

103-flume整合kafka

通过flume-ng收集log4j产生的日志,考虑大数据量、高并发情况以及需要多个消费者消费同一份数据,这里通过整理flume-ng和kafka,把flume-ng收集的日志放入到kafka

#flume#kafka
105-storm 整合 kafka之保存HBase数据库

通过flume-ng收集的日志,最后通过kafka作为中间件,最后通过storm可以实时消费。为方便后续的原数据分析,通过保持hbase进行备份

#storm#kafka#hbase
104-storm 整合 kafka之保存MySQL数据库

整合Kafka+Storm,消息通过各种方式进入到Kafka消息中间件,比如通过使用Flume来收集的日志数据,然后暂由Kafka中的路由暂存,然后在由实时计算程序Storm做实时分析,这时候我们需要讲Storm中的Spout中读取Kafka中的消息,然后交由具体的Bolt组件分析处理。实际上在 apache-storm-0.9.3这个版本的Storm已经自带了一个集成Kafka的外部插件程序st

#storm#kafka#mysql
    共 16 条
  • 1
  • 2
  • 请选择