logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

ambari+hdp下mysql元数据用户ambari、hive、root、azkaban用户密码修改

写在前面ambari+hdp 安装集群的时候密码修改太简单,出于安全考虑,做各用户的密码修改。1 mysql 用户管理表字段CREATE TABLE `user` (`Host` char(60) COLLATE utf8_bin NOT NULL DEFAULT '',`User` char(32) COLLATE utf8_bin NOT NULL DEFAULT '',`Select_pri

#hive#mysql#ambari
hive函数之collect_set,collect_list,concat_ws,array_contains 联合使用

hive函数之collect_set/collect_list,concat_ws,array_contains 联合使用1 表数据select id,act_status from ods.ods_ta_task limit 6;+----------------------+-------------+|id| act_status|+----------------------+------

#hive#list#big data
hbase启动报错 :Connection refused to node118.data:16030

1 看报错日志crt连接服务器 node118.data[root@node118 hbase]# cd/var/log/hbase[root@node118 hbase]# tail -100 hbase-hbase-regionserver-node118.data.log2021-06-22 15:51:42,753 INFO[regionserver/node118:16020] regi

OLAP场景下大数据领域技术发展趋势

OLAP场景下大数据领域技术发展趋势1 OLAP场景,共同特点:绝大多数是读请求数据批次更新,而不是单行更新已添加到数据库的数据不能修改对于读取,从数据库中提取相当多的行,但只提取列的一小部分,列存储宽表,即每个表包含着大量的列查询相对较少(通常每台服务器每秒查询数百次或更少)事务不是必须的,对数据一致性要求低查询结果明显小于源数据。数据经过聚合运算后可放入单个服务器的RAM中2发展趋势step1

#数据库#big data
hadoop shell删除spark日志文件

hdfs占用查询.发现 /spark2-history/目录下占用磁盘最大。[root@node104 ~]#hdfs dfs -du -h /2.0 G2.8 G/app-logs56.3 G112.4 G/apps00/ats5.2 M5.2 M/atsv200/export1.3 G1.3 G/hdp00/l

#hadoop#大数据
Doris+Flink搭建数据平台

Doris\flink\shell\python\canal\sql

文章图片
#linux#python#flink
到底了