22版本以后直接更改配置文件的存储路径不行，需要将默认的/var/lib/clickhouse mv到/data/clickhouse 中然后创建软连接 ln -s/data/clickhouse /var/lib。clickhouse在22版本之前可以直接更改数据存储目录。

impala/hive获取所有表分区信息

Apache Iceberg​ 数据湖表格式中的几个核心术语

pyspark提交命令

本地启动失败异常

1、datanode之间出现了数据不平衡的现象可以执行hadoop提供的balancer，来进行datanode之间数据balance，默认hdfs的balance带宽是1M/s，这个可以通过参数来进行调整dfs.datanode.balance.bandwidthPerSec, dfs.balance.bandwidthPerSecHDFS平衡器检测集群中使用过度或者使用不足的DataNode，

A：在最大重试尝试次数后，Spark executor显示任务失败，但是加载具有不良记录的数据并将BAD_RECORDS_ACTION（carbon.bad.records.action）设置为“ FAIL”将仅尝试一次，但会向驱动程序发送信号给失败 而不是抛出异常重试，因为如果发现不良记录并且BAD_RECORDS_ACTION设置为失败，就没有重试的可能性。A：Carbon数据使用创建Carb

FastDFS由一个跟踪器（tracker）和多个存储节点（storage node）组成，其中跟踪器用于管理文件的元数据，存储节点用于实际存储文件数据。MinIO对于小型和中型规模的存储需求是一个理想的选择，特别是在需要构建私有云存储环境或本地对象存储解决方案的情况下。S3具有高可靠性、持久性和可扩展性，通过多个数据中心和多个副本实现数据的备份和冗余存储，确保数据的高可用性和容错性。S3是一个全

hbase之rowkey设计原则和实际方法