Kerberos 安装与hadoop组件集成一. kerberos 安装yum -y install krb5-libs krb5-server krb5-workstation安装成功后，修改kerberos必需文件1. vim/etc/krb5.conf#注意修改被注释的内容# Configuration snippets may be placed in this dire...

国产融创 hadoop

HDFS、Hive整合后，on k8s 运行

目前在公司开发SparkStreaming 消费kafka数据，因为hadoop集群启用了kerberos认证，走了不少弯路，现在记录一下：代码使用local模式跑是完全ok的，但是run on yarn 上，一直报错:Exception in thread "main" org.apache.kafka.common.KafkaException: Failed to construct kaf

背景：最近使用的项目中用到了kafka，并且需要集成kerberos.这边kerberos认证已经通过，但是在消费的时候一直拉不到数据，随后使用shell命令在服务器上消费数据，结果一样。后面更改日志级别，发现一直循环打印如下日志:2020-05-21 10:05:06.651 [ForkJoinPool-1-worker-5] DEBUG org.apache.kafka.clients.Met

由于调用.R文件脚本是通过Rserve 服务实现的,所以这里必须保证Rserve 服务的可用1: 保证本地安装了R环境2: 准备工作:2.1: 打开本地R.GUI2.2: 安装Rserve: install.packages("Rserve")2.3: 加载Rserve: library(Rserve)2.4: 下面有两种方法,可...