最近在监控中发现HiveServer2连接到zookeeper里的连接持续上涨，很奇怪，虽然知道HiveServer2支持并发连接，使用ZooKeeper来管理Hive表的读写锁，但我们的环境并不需要这些，我们已经关闭并发功能，以下是线上的配置，甚至把这些值都改成final了。但是zookeeper连接依然会涨。后来想想，我们要访问的表是hive去映射的hbase，hivese

一,事务的4个基本特征 Atomic（原子性）： 事务中包含的操作被看做一个逻辑单元，这个逻辑单元中的操作要 么全部成功，要么全部失败。 Consistency（一致性）： 只有合法的数据可以被写入数据库，否则事务应该将其回滚到最初 状态。 Isolation（隔离性）： 事务允许多个用户对同一个数据进行并发访问，而不破坏数据的正 确性和完整性。

HBase在保证高性能的同时，为用户提供了便于理解的一致性数据模型MVCC (Multi Version Concurrency Control)，即多版本并发控制技术，把数据库的行锁与行的多个版本结合起来，从而去提高数据库系统的并发性能。要理解mvcc，首先需知道为什么需要进行并发控制，我们知道关系型数据库一般都提供了跨越所有数据的ACID特性，为了性能考虑，HBase只提供了基于单行的AC..

mac使用vnc远程登录ubuntu16.04桌面1.安装在Ubuntu上安装x11vnc，如下：sudo apt-get install x11vnc2.配置vnc密码x11vnc -storepasswd3.启动vnc服务x11vnc -forever -shared -rfbauth ~/.vnc/passwd最好后台执行4.在mac上安装vnc viewer，安装好后，在...

@echo off      echo 正在清除系统垃圾文件，请稍等......      del /f /s /q %systemdrive%\*.tmp      del /f /s /q %systemdrive%\*._mp      del /f /s /q %systemdrive%\*.log      del /f /s /q %systemdrive%\*.gid      de

云服务器 ECS > Linux操作运维问题 > 应用配置 > linux系统关闭IPv6的方式linux系统关闭IPv6的方式IPv6被认为是IPv4的替代产品，它用来解决现有IPv4地址空间即将耗尽的问题。但目前，开启IPv6可能会导致一些问题。因此有时我们需要关闭IPv6。下面是IPv6的关闭方法应该适用于所有主流的Linux发行版包括Ubuntu、D

新一代大数据任务调度 - Apache DolphinScheduler(incubator) 在近期发布了其第一个官方 Docker 镜像。下面就带大家来快速试用 DolphinScheduler官方推荐以 docker-compose 的方式启动，这种方式需要先安装 docker-compose , docker-compose 的安装网上已经有非常多的资料，请自行安装即可。1、下载源码 zi

IOTA架构提出背景大数据3.0时代以前，Lambda数据架构成为大数据公司必备的架构，它解决了大数据离线处理和实时数据处理的需求。典型的Lambda架构如下：Lambda架构的核心思想是：数据从底层的数据源开始，经过各样的格式进入大数据平台，然后分成两条线进行计算。一条线是进入流式计算平台，去计算实时的一些指标；另一条线进入批量数据处理离线计算平台，去计算T+1的相关业务指标，这些指标需...

大数据存储平台调优之Hadoop优化在上节搭建完集群、完成Linux系统配置(优化)后以及建好HDFS上的目录后，我们接下来需要对Hadoop集群做一些优化的工作。我们从两个方面来说：一是HDFS存储方面，一是计算方面 1、 HDFS方面：1> 存储格式的选择对于分析类型的业务来说，最好的存储格式自然是列存储，因为数据量巨大，只扫关心的数据列无疑具有很大优势。目前hadoop...

经常做数据处理的伙伴们肯定会有这样一种体会：最近一周内的数据会被经常使用到，而比如最近几周的数据使用率会有下降，每周仅仅被访问几次；在比如3月以前的数据使用率会大幅下滑，存储的数据可能一个月才被访问几次。这就产生了一种热和冷数据，对需要频繁访问的数据我们称之为“热”数据，反之我们称之为”冷”数据，而处于中间的数据我们称之为”温”数据。在数据被视为公司资产的时代，每个公司基本都会保存最近数年的数据，