本文介绍了在ClickHouse上集成Spark环境的完整过程，主要包含以下内容： 环境准备 使用Docker部署ClickHouse测试环境（23.8和26.3版本） 解决数据目录权限问题：必须使用docker volume而非直接映射Windows目录 两种集成方式对比 旧版JDBC驱动（ru.yandex.clickhouse）：已过时，功能有限但简单易用 官方Spark原生连接器（Cata

介绍使用portainer部署kafka-->clickhouse的数据采集集群的方法

介绍了离线场景下安装docker portainer flink kafka openjdk maven等，以配置flink程序的离线开发测试环境的过程，以及简单的Flink Kafka框架。

前面几章我们部署了Kafka及Clickhouse，能够做到Kafka生产并使用Clickhouse进行消费，从而将从其它流式处理系统输出的数据转储到clickhouse数据库中，支持做更进一步的联机数据分析。但某些场合下，从其它系统输出的数据不一定适合需要，那么安装部署一个Flink进行实时的清洗处理就很必要了。

探讨利用swarm一键部署hadoop的分布式高可用环境。

介绍使用portainer部署kafka-->clickhouse的数据采集集群的方法

介绍了离线场景下安装docker portainer flink kafka openjdk maven等，以配置flink程序的离线开发测试环境的过程，以及简单的Flink Kafka框架。

简要介绍在CentOS Stream 8 中安装3节点Kafka集群过程，Kafka集群中每节点即为controller也为borker。

上一篇我们测试了在“裸金属节点”上的Kafka集群部署，本篇我们将利用Portainer和Docker swarm集群进行Kafka集群的一键部署。

前面我们搭建了hadoop集群，spark集群，也利用容器构建了spark的编程环境。但是一般来说，就并行计算程序的开发，一刚开始一般是在单机上的，比如hadoop的single node。但是老师弄个容器或虚拟机用vscode远程访问式开发，终究还是有些不爽。还好，hadoop和spark都是支持windows的。不妨，我们弄个windows下的开发环境。然而，windows下开发环境的构建，需