一、分区表、索引的分类1、分区表原理：对于10gR2而言，ORACLE对于分区表方式其实就是将表分段存储，一般普通表格是一个段存储，而分区表会分成多个段，所以查找数据过程都是先定位根据查询条件定位分区范围，即数据在那个分区或那几个内部，然后在分区内部去查找数据，一个分区一 般保证四十多万条数据就比较正常了，2、分区表的分类：•　　 Range(范围)分区range分区方式，也算是最常用的分区方式，

hbase集群的HA配置（假如有3台机器（同时是regionserver角色），master、slaver1、slaver2）stop-hbase.sh cd /home/hadoop-twq/bigdata/hbase-1.2.6/conf vi backup-masters 在master机器上文件增加如下的记录：slave1 ---backup master的节点ip---把backup的信

刚刚开始使用IDEA很多不习惯，导入第二个maven项目时之前的项目就没了，下面介绍下导入多个maven项目展示在左侧栏Maven Projects，提醒：使用工具的时候一定看清楚提示再操作，就会少走好多弯路。1、选择file-new-Module from Existing Sources…2、选中项目的根目录，点击OK 3、默认选择Ceate module from existing

前言最近在负责某集团网站时，背景是：同一局域网的用户请求时候，对外暴露的公网ip是同一个，基本就是用户请求ip扎堆。同时用到了Nginx与那么后面就改造为F5，如图所示，负载均衡器F5作为处理外界请求的第一道“墙”，将请求分发到web服务器后，web服务器上的Nginx再进行处理，静态内容直接访问本地门户，动态数据则通过反向代理指向内网服务。其实Nginx和F5这两者均可用作网站负载均衡，那二者有

impal同步#bin/shset -eshopt -s expand_aliases#这里是可以在shell里面用重命名.~/.bash_profilestypeset -u sub_part_flag #把变量转换成大写# typeset的-l选项将一个变量的字符变成小写# typeset的-u选项将一个变量的字符变成大写table_name=$1part_name=$2sub_part_fl

今天在调项目的时候，突然报了这样一个错误 :具体错误信息如下：WARN – com.mchange.v2.resourcepool.BasicResourcePool$AcquireTask@1a78424 — Acquisition Attempt Failed!!! Clearing pending acquires. While trying to acquire a needed ne..

Hive学习之路 （五）DbVisualizer配置连接hive一、安装DbVisualizer下载地址http://www.dbvis.com/也可以从网上下载破解版程序，此处使用的版本是DbVisualizer 9.1.1具体的安装步骤可以百度，或是修改安...

问题一、大数据开发在公司是不是每天写sql，会转别的吗？问题的本身是在思考技术人的职业发展和自身能力提升的瓶颈。如果是做大数据平台开发，那更多是偏向后端，所以是必须要写代码的，不限于java\scala等语言。如果是数仓开发，那么会偏向业务，会涉及维度建模，ETL，报表开发等等。数仓开发又分传统的离线数仓和实时数仓。1）离线数仓的话写Hive SQL或者Spark SQL比较多，但也不是单纯的写写

一、需求文档模板1、产品需求文档：文档标识、产品概述、功能说明、全局说明、非功能性需求等2、交互设计文档（DRD）：3、报表需求文档：1）业务数据：业务场景、指标名称、指标定义、维度、维度定义/枚举值、用表及操作口径定义2）数据结果展示：字段、字段类型、枚举值、筛选器、数据展示路径、报表名称维度组合：其他信息：数据输出方式（接口、报表、其他），数据输出日期（实时、日、周、月），如果是按日的话注明t

Oracle实用操作（三）oracle 表名长度的限制1、在新建oracle表的时候，经过查找相关资料oracle表名的最大长度是30，我加上了0331正好是30,多加2为就32了，当然报错了。2、同时有网友说看看desc user_tables，看table_name字段的定义也可以发现，这个很有道理，于是我看了一把.这么看来，表空间名最大长度也是30 。看来oracle对30，情有独钟嘛。..