logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

从 Hadoop 到云原生,大数据平台如何做存算分离

Hadoop 的诞生改变了企业对数据的存储、处理和分析的过程,加速了大数据的发展,受到广泛的应用,给整个行业带来了变革意义的改变;随着云计算时代的到来, 存算分离的架构受到青睐,企业开开始对 Hadoop 的架构进行改造。

文章图片
#hadoop#大数据#云原生
clickhouse分布式查询降级为本地查询

clickhouse 分布式查询降级为本地查询问题排查

文章图片
#clickhouse#分布式
聊一聊我的第一个开源项目

🎉🎉基于docker一站式hadoop集群管理,使用rust构建hdd客户端管理容器全生命周期

#开源#docker#hadoop +1
一种解决全局代理在终端不生效的方法

这篇文章介绍了解决在终端中全局代理不生效的方法。作者在使用实时流式SQL平台时遇到了下载速度极慢的问题,尽管他的Mac上开启了全局代理。他发现终端使用的网络配置与系统的全局代理设置是分开的,因此需要在终端中单独配置代理。作者给出了将代理配置封装成alias的方法,方便控制终端是否使用全局代理。经过配置后,他再次尝试下载时速度明显提升。

Hadoop 核心原理(贼全面)

hadoop原来可以以这么简单的方式学习核心原理

#hadoop
hive打开计算引擎session卡死

平台:H3C DataEngine表现形式:启动hive shell第一次执行走计算流程的sql时,打开计算引擎的session时卡死,可视化查看任务正常提交,就是无法执行。原因解释:无论什么yarn调度器默认都是单队列,H3C使用的是公平调度器,但队列中存在其他正在执行的任务导致队列资源占用达到10%,导致后面的任务需要等待前面的任务走完,卡死的根本原因是安装了spark,导致后台会启动spar

#hive
从 Hadoop 到云原生,大数据平台如何做存算分离

Hadoop 的诞生改变了企业对数据的存储、处理和分析的过程,加速了大数据的发展,受到广泛的应用,给整个行业带来了变革意义的改变;随着云计算时代的到来, 存算分离的架构受到青睐,企业开开始对 Hadoop 的架构进行改造。

文章图片
#hadoop#大数据#云原生
Kafka 安全认证及权限控制

作者:wjun平台:MacOS版本:Kafka 2.4.1 、Zookeeper 3.6.2一、Zookeeper 配置 SASL若只关注 kafka 的安全认证,不需要配置 Zookeeper 的 SASL,但 kafka 会在 zk 中存储一些必要的信息,因此 zk 的安全认证也会影响到 kafka ????????????1.1 新建 zoo_jaas.conf 文件zoo_jaas.con

文章图片
#kafka
到底了