logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

hbase性能调优

一、服务端调优1、参数配置1)、hbase.regionserver.handler.count:该设置决定了处理RPC的线程数量,默认值是10,通常可以调大,比如:150,当请求内容很大(上MB,比如大的put、使用缓存的scans)的时候,如果该值设置过大则会占用过多的内存,导致频繁的GC,或者出现OutOfMemory,因此该值不是越大越好。2)、hbase.h...

#hbase
java maven copyright

Try switching to thecom.mycila:license-maven-plugin. Their documentation is very easy to follow.Create a template in a fileFor example, put inlicense-header.txt:Copyright (C) ${license.years} ${licens

hive server日志配置

HiveServer2操作日志可用于Beeline客户端(Hive 0.14以上)。这些参数配置记录:hive.server2.logging.operation.enabledhive.server2.logging.operation.log.locationhive.server2.logging.operation.verbose (Hive 0.14到1.1)hive.serv...

mongodb 数据库like语句查询

在学习mongodb时遇到查找相似字符串问题,下面是解决方法:假如需要查找的字符串为s,则可以用db.tables.find({"name":/s/}),或者db.tables.find({"name":/^s/}) ,或者db.tables.find({"name":/s.

#mongodb#数据库
hiveServer2、metastore以及client解读

hive服务架构图:Metastore通过Thrift API 对外提供访问,生态里的工具如:pig, MR, impala, presto, SparkSQL, NIFI 都可以通过Thrift接口访问Metastore, Metastore接口格式为:thrift://xxxxxxx:9083HiveServer2对外提供JDBC/ODBC接口,供前端工具(DBeavor, SQL Squir

#hive
hive skills

1.with as 使用 + 求占比with sale as(select 'a' as department_id,'001' as item_id,100 as money union allselect 'a' as department_id,'002' as item_id,200 as money union allselect 'b' as department_id,'...

#hive
负载均衡(Load Balance)的简单而又透彻的理解

负载均衡(Load Balance)是分布式系统架构设计中必须考虑的因素之一。它通常是指,将请求/数据【均匀】分摊到多个操作单元上执行,负载均衡的关键在于【均匀】。这里的均匀,可不是我们想象的10 ÷ 2 = 5 ,这就算均匀啦。不是的。常见互联网分布式架构如上,分为客户端层、反向代理nginx层、站点层、服务层、数据层。 常见的负载均衡方案常见互联网分布式架构如上,分为客...

maven多profile 打包下 -P参和-D参数

P代表(Profiles配置文件)在指定的中,可以通过-P进行传递或者赋值。假如pom.xml如下prod...test...打包时执行mvn clean package -P test将触发test环境的profile配置

#maven
hive add jar 报java.net.UnknownHostException: user错误

hive > add jar hdfs://mypath/myjar.jarjava.net.UnknownHostException: userQuery returned non-zero code: 1, cause: java.net.UnknownHostException: user解决办法:加转义:add jar hdfs:///mypath/myjar.jar 或者用h

#hive
hive 自动加载数据多分区目录

在使用hive建表加载数据时,如果是一个分区,那么用alter table mytable ADD IF NOT EXISTS PARTITION(p1='p1') location 'hdfs://xxx' 或者直接用msck repair table mytable都可以将指定目录的数据加载到分区但是对于多级目录来说,比如/data/year=/month=/day=/so

#hive
    共 26 条
  • 1
  • 2
  • 3
  • 请选择