各大数据存储/分析架构的基本概念和相关对比

用户行为日志（JSON，量大）→ 扔数据湖实时推荐要原始数据 → 数据湖直接读固定经营报表 → 从数据湖抽数到ClickHouse出报表。

《大数据SQL性能优化五层体系》摘要：本文系统性地提出大数据SQL优化的五层体系：1.字段级优化（选择最小化数据类型，避免隐式转换）2.算子级优化（重写SQL逻辑，减少计算量）3.表级优化（合理分区分桶，优化存储格式）4.引擎级优化（调整执行参数，处理数据倾斜）5.架构级优化（数据分层治理）。核心原则是自底向上逐层检查，通过减少数据移动和计算量提升性能。文章包含数值/时间类型选择、Join策略、分

海量数据存储海量数据计算资源调度由 YARN 负责，Common 提供底层工具支持。Hadoop 的设计哲学很简单：用廉价的普通机器组成集群，通过横向扩展来扛住 PB 级别的数据。当前生产环境主流是3.x系列（最新稳定版3.4.2，2025 年 8 月发布）。最低 JDK 要求：3.x 最低 JDK 8，低于这个版本的编译和运行都不支持HDFS 纠删码：默认支持 Erasure Coding，存储

用简单的树形数据结构 + 强一致性协议 + 事件通知机制，解决分布式系统中最基础的协调问题。掌握 ZK 的核心，等于掌握了分布式共识的一半原理。但也要清醒认识到它的局限：Java 技术栈重、API 相对底层、云原生适配不如 etcd。学习 ZK 的重点应放在ZAB 协议、Znode 语义、Watcher 事件模型上，这些思想在 etcd、Consul 乃至现代分布式数据库中依然通用。最后请各位大佬

海量数据存储海量数据计算资源调度由 YARN 负责，Common 提供底层工具支持。Hadoop 的设计哲学很简单：用廉价的普通机器组成集群，通过横向扩展来扛住 PB 级别的数据。当前生产环境主流是3.x系列（最新稳定版3.4.2，2025 年 8 月发布）。最低 JDK 要求：3.x 最低 JDK 8，低于这个版本的编译和运行都不支持HDFS 纠删码：默认支持 Erasure Coding，存储

用户行为日志（JSON，量大）→ 扔数据湖实时推荐要原始数据 → 数据湖直接读固定经营报表 → 从数据湖抽数到ClickHouse出报表。

Databend 简介Databend 是一个开源、云原生且支持实时分析型的现代数据仓库，它以其高性能、弹性扩展和低成本而闻名，旨在提供高效的数据存储和处理能力。Databend 面向云架构的设计，使得它能够充分利用云计算的弹性和可扩展性。以下是 Databend 的一些详细特点和功能：云原生设计：Databend 构建在 Kubernetes 之上，这意味着它可以在容器化环境中无缝运行，支持自动

Databend 简介Databend 是一个开源、云原生且支持实时分析型的现代数据仓库，它以其高性能、弹性扩展和低成本而闻名，旨在提供高效的数据存储和处理能力。Databend 面向云架构的设计，使得它能够充分利用云计算的弹性和可扩展性。以下是 Databend 的一些详细特点和功能：云原生设计：Databend 构建在 Kubernetes 之上，这意味着它可以在容器化环境中无缝运行，支持自动

用简单的树形数据结构 + 强一致性协议 + 事件通知机制，解决分布式系统中最基础的协调问题。掌握 ZK 的核心，等于掌握了分布式共识的一半原理。但也要清醒认识到它的局限：Java 技术栈重、API 相对底层、云原生适配不如 etcd。学习 ZK 的重点应放在ZAB 协议、Znode 语义、Watcher 事件模型上，这些思想在 etcd、Consul 乃至现代分布式数据库中依然通用。最后请各位大佬