当 DN 发生故障没有正常发送心跳信息时，NN 会检测block的副本数是否小于系统设置值，如果小于，则选择一个拥有健康副本的DN作为​​源节点​​，并选择一个或几个合适的目标DN来存放新副本，然后下达复制指令。还有一种从侧面说明 HDFS 支持容错的机制，即当从 HDFS 中删除数据时，数据并不是马上就会从 HDFS 中被删除，而是会将这些数据放到“回收站”目录中，随时可以恢复，直到超过了一定的

环境介绍：Mac m1、PD26、centos7、openjdk1.8。

核心是将一个复杂的数据处理任务分解为两个主要阶段：​​Map（映射）​​ 和 ​​Reduce（归约）​​。​​Combiner​​：是一个可在 Map 端执行的本地 Reduce 操作。​​Partitioner​​：决定了 Map 产生的中间键值对如何被分发给不同的 Reduce 任务。小文件问题是HDFS和MapReduce架构中的经典瓶颈，指的是大量远小于 HDFS 块大小的文件对系统造成

在 MapReduce 应用程序的启动过程中，最重要的就是要把 MapReduce 程序分发到大数据集群的服务器上，在上文介绍的 Hadoop 1 中，这个过程主要是通过 TaskTracker 和 JobTracker 通信来完成。这是 Yarn 的两种主要进程：ResourceManager 进程负责整个集群的资源调度管理，通常部署在独立的服务器上；从生命周期可以看到，每个AM都会去申请资源，

环境介绍：mac m1、centos7、Hadoop3.4。

spark 是一个开源的分布式计算引擎，专为大规模数据处理而设计。它提供了高级API，支持Java、Scala、Python 和R语言，能高效地执行批处理、流处理、图处理等多种工作负载。spark 是apache 大数据生态的重要组成部分，主要用于替代h中的 计算模型，在典型的大数据平台中，常见架构为：HDFS（存储） + YARN（调度与资源管理） + Spark（计算引擎）既然spark 主要

2.jdk的servlet-api包与项目使用的servlet-api干扰（一般不会，标准的jdk不会有这个jar包）Tomcat 10.x ➡️ 支持 Servlet 5.0 (需Spring Boot 3.x)1.springboot内置tomcat与自己安装的tomcat版本不同且项目配置有问题导致。Tomcat 9.x ➡️ 支持 Servlet 4.0。3.tomcat版本与servle