hudi-hive-syncSyncing to Hive 有两种方式:在hudi 写时同步使用run_sync_tool.sh 脚本进行同步1. 代码同步val spark = SparkSession.builder().config(sparkConf).config("spark.serializer", "org.apache.spark.serializer.KryoSerialize

hive 集成kerber后，jdbc连接操作hivepublic static void main(String[] args) throws Exception {System.setProperty("java.security.krb5.conf", "E:\\conf\\xh\\local\\krb5.conf");Configuration config = new Configura

mvn idea:idea

背景：最近使用的项目中用到了kafka，并且需要集成kerberos.这边kerberos认证已经通过，但是在消费的时候一直拉不到数据，随后使用shell命令在服务器上消费数据，结果一样。后面更改日志级别，发现一直循环打印如下日志:2020-05-21 10:05:06.651 [ForkJoinPool-1-worker-5] DEBUG org.apache.kafka.clients.Met

SIMPLE authentication is not enabled. Available:[TOKEN, KERBEROS]hadoop集成kerberos，多半是因为kerberos认证hadoop时，hadoop的配置文件没有被加载或者是加载不正确

Kerberos 安装与hadoop组件集成一. kerberos 安装yum -y install krb5-libs krb5-server krb5-workstation安装成功后，修改kerberos必需文件1. vim/etc/krb5.conf#注意修改被注释的内容# Configuration snippets may be placed in this dire...

国产融创 hadoop

由于调用.R文件脚本是通过Rserve 服务实现的,所以这里必须保证Rserve 服务的可用1: 保证本地安装了R环境2: 准备工作:2.1: 打开本地R.GUI2.2: 安装Rserve: install.packages("Rserve")2.3: 加载Rserve: library(Rserve)2.4: 下面有两种方法,可...