superset2.0发布

logminerlogminer的用途日志文件中存放着所有进行数据库恢复的数据，记录了针对数据库结构的每一个变化，也就是对数据库操作的所有DML语句。logminer 工具即可以用来分析在线，也可以用来分析离线日志文件，即可以分析本身自己数据库的重作日志文件，也可以用来分析其他数据库的重作日志文件。总的说来，logminer工具的主要用途有：　1．跟踪数据库的变化：可以离线的跟踪数据库的变化，而不

hadoop版本apache:2.7.7->2.9.2hadoop集群为非高可用集群1.创建镜像回滚:hdfs dfsadmin -rollingUpgrade prepare2.hdfs dfsadmin -rollingUpgrade query查看镜像回滚状态，直到显示Proceed with rolling upgrade状态3.下载并解压hadoop-2.9.24.将hdfs-si

1.通过spark提供的jdbc方式连接代码如下val spark = SparkSession.builder().master("local").getOrCreate()val rdd = spark.read.format("jdbc").format("jdbc").option("driver", "org.apache.hive.jdbc.HiveDriver").option("u

Flink在cdh6.2上的搭建下载flink相关的csd和parcel地址：https://archive.cloudera.com/csa/1.0.0.0/csd/，https://archive.cloudera.com/csa/1.0.0.0/parcels/将FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jar 放在/opt/cloudera/csd下重启cm-serv

报错日志如下可以看出报错的地方再OrcFile的WriterVersion的from方法，定位代码发生在下面代码的values[val]代码段。values的值从代码可以看出values的数据应该为5，见下图代码而传过来的val是6，向上看代码，version来源是文件的meta，应该是spark版本的原因导致hive不支持的version。解决修改OrcFile文件的WriterVersion的

使用pgoutput的方式设置postgresql修改postgresql.conf添加或者修改以下字段wal_level = logicalmax_wal_senders = 1max_replication_slots = 1修改pg_hba.conflocal replication <youruser> trusthost...

用作记录方便以后查找，用到的工具类：commons-compressmaven依赖<!-- https://mvnrepository.com/artifact/org.apache.commons/commons-compress --><dependency><groupId>org.apache.commons</groupId><art

什么是hudiHudi（发音为“hoodie”）摄取与管理处于DFS(HDFS或云存储)之上的大型分析数据集并为查询访问提供三个逻辑视图。读优化视图 - 在纯列式存储上提供出色的查询性能，非常像parquet表。增量视图 - 在数据集之上提供一个变更流并提供给下游的作业或ETL任务。准实时的表 - 使用基于列存储和行存储(例如 Parquet +Avro)以提供对实时数据的查询通过仔细地管理数据在