CDH entropy was available 问题解决问题描述：CDH 集群启动一段时间后总是会出现 Entropy 不良问题，问题截图如下：解决：查询系统熵值大小cat /proc/sys/kernel/random/entropy_avail安装 rng-tools 工具yum install rng-tools修改 /etc/sysconfig/rngd...

get请求GET把参数包含在URL中，访问时会在地址栏直接显示参数不安全，且参数大小比较小post请求参数通过传递，请求头的情况下需要不同的解析方式进行相关处理。

Hive表权限hive一、赋角色权限–创建和删除角色create role role_name;drop role role_name;–展示所有rolesshow roles–赋予角色权限grant select on database db_name to role role_name;grant select on [table] t_name to role role_name;–查看角色

一、Streamsets性能1.1 查看Streamsets 性能点击菜单栏Administrator—SDC Metrics图片:主要是CPU和堆内存的占用情况，当占用很高打开的时候会出现显示延迟的现象。二、相关优化2.1 优化堆内存因为StreamSets使用的配置为java虚拟机分配的1G堆内存，上线时建议根据自己的需求去更改对应的内存大小,修改{$STREAMSETS_HOME}/libe

说在前面的话适合有java基础、Linux基础、具有一定java开发经验的人！参考的资料Hadoop官方参考资料：https://blog.csdn.net/qq_39657909/article/details/84581147如果你想学习Hadoop并且官网看不懂，那么请务必先看看这份资料：h...

Flink任务提交流程一、任务提交流程上篇有简单提到Flink的运行方式有YARN、Mesos、K8s，以及standalone，所以老规矩先根据上篇的内容，先上一个运行图揭示一下当一个应用提交执行时，Flink的各个组件是如何交互协作的组件交互流程如上，那么接下来会详细的跟大家聊聊Yarn上运行细节二、任务提交流程（YARN）先上图：在Flink任务提交后：Client向HD...

一、日志模拟1.1 模拟日志生成java -classpath /data/opt/module/log-produce.jar com.lsl.appclient.AppMain >/data/opt/module/test.log二、flume数据采集2.1 Flume安装2.1.1 日志采集Flume安装1）添加服务2）选择Flume，点击继续3）选择节点4）完成...

kafka启动异常一、描述由于在安装时有重装过，启动kafka时报broker的id对不上。二、图解三、问题解决思路由于当时只是报了启动失败。。。。1.查看启动日志，发现日志中报了一个broker的id对不上错误四、实际解决删除了/var/local/kafka/data目录中的所有文件版权声明：本博客为记录本人自学感悟，转载需注明出处！https://me.csdn.net...

Flume 监控kafka主题写HDFS小结需求采集Flume采集kafka主题内容，往Hadoop集群上写HDFS，该机器没有安装Hadoop这里的Flume版本是1.7.0，Hadoop版本是2.7.2，kafka版本是0.11.0.2把Hadoop集群的hdfs-site.xml、core-site.xml两个配置文件复制到 flume安装目录的conf目录去，把hadoop-hdfs...

很奇怪,kafka并没有什么命令可以查看具体的版本,那么怎么去查看安装的kafka版本呢？1: 如果安装的是apache官网的kafka,那么进入机器如下对应的目录: 标注的 1.0.0就是 kafka的版本2: 如果安装的是confulent的版本，那么通常看到的confulent版本与kafka的版本是不对应的，得通过如下目录查看，也可以看到版本是1.0.0...