一、Zookeeper简介Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。1.1 Zookeeper工作机制Zookeeper是基于观察者设计模式设计的分布式服务管理框架，它负责存储和管理大家关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。1.2 Zookeep

如何快速处理kafka的消息积压

clickhouse 分布式查询降级为本地查询问题排查

🎉🎉基于docker一站式hadoop集群管理，使用rust构建hdd客户端管理容器全生命周期

这篇文章介绍了解决在终端中全局代理不生效的方法。作者在使用实时流式SQL平台时遇到了下载速度极慢的问题，尽管他的Mac上开启了全局代理。他发现终端使用的网络配置与系统的全局代理设置是分开的，因此需要在终端中单独配置代理。作者给出了将代理配置封装成alias的方法，方便控制终端是否使用全局代理。经过配置后，他再次尝试下载时速度明显提升。

hadoop原来可以以这么简单的方式学习核心原理

平台：H3C DataEngine表现形式：启动hive shell第一次执行走计算流程的sql时，打开计算引擎的session时卡死，可视化查看任务正常提交，就是无法执行。原因解释：无论什么yarn调度器默认都是单队列，H3C使用的是公平调度器，但队列中存在其他正在执行的任务导致队列资源占用达到10%，导致后面的任务需要等待前面的任务走完，卡死的根本原因是安装了spark，导致后台会启动spar

Hadoop 的诞生改变了企业对数据的存储、处理和分析的过程，加速了大数据的发展，受到广泛的应用，给整个行业带来了变革意义的改变；随着云计算时代的到来， 存算分离的架构受到青睐，企业开开始对 Hadoop 的架构进行改造。

1.上传文件到linux文件系统[root@node1 mydata]# lltotal 129648-rw-r--r--. 1 root root 120734753 Dec6 12:53 bigtable.bigtable-rw-r--r--. 1 root root12018355 Dec6 12:51 smalltable.smalltable2.加载数据到hive创建表create ta

基于 kubeshpere 的 flink on k8s 实践