文章目录背景查看数据库年龄自动处理机制查看表的年龄清理方式背景由于PG的事务数量是有上限的，新老事务之间的年龄超过最大值之后必须要冻结，所以要及时监控，及时处理查看数据库年龄监控数据库年龄，及时清理select datname,age(datfrozenxid) from pg_database order by 2 desc;自动处理机制同一个数据库中，存在的最旧和最新两个事务之间的年龄最多是2

执行报错：./gradlew build -x test --stacktrace报错信息：Could not find or load main class org.gradle.wrapper.GradleWrapperMain解决：确定目录结构是否正常├── build.gradle├── gradle│└── wrapper│├── gradle-wrapper.jar│└── gradl

调整元数据编码

参考路径：https://happybase.readthedocs.io/en/latest/1、安装模块pip install happybase2、root@BigData-Dev-1:~# pythonPython 2.7.6 (default, Nov 23 2017, 15:49:48)[GCC 4.8.4] on linux2Type "help",...

Hive性能优化项目：基于hive的dmp数据仓库搭建Hive：apache开源组件，基于hdfs文件系统及mapreduce计算引擎的关系型数据库，弱索引（目前还没怎么有用过），基本不支持实施数据处理，适用于大数据量的存储及离线的大数据量的数据挖掘优化：1：调度优化，模型优化资源开放的情况下，模型日常T+1调度模型图如下（数据流图）：数据模型每层的调度要足够灵活，尽量避免由于...

目的：构建基于hbase的实时数仓解决的问题：RDBMS到Hbase的数据实时采集方法：Postgresql    ----->     Debezium     ----->     Kafka     ------>     Sparkstreaming    ------>     Phoenix本文：本文主要是从Postgresql到