Spark sql读写hive需要hive相关的配置，所以一般将hive-site.xml文件放到spark的conf目录下。代码调用都是简单的，关键是源码分析过程，spark是如何与hive交互的。1. 代码调用读取hive代码

常用架构说明

1.可以一台台datanode操作，也可以停止集群一起操作，步骤是一样的，下面讲述单台datanode操作。操作步骤：停止datanode，修改该datanode的配置dfs.datanode.data.dir为新目录配置，对应机器上创建该目录（注意用户权限），然后拷贝原来目录下的所有文件到新目录，重启该datanode，执行下fsck看是否正常，然后再执行diskbalancer。如果是添加新磁

使用mysql8时，运行多个scheduler，需要在airflow.cfg设置use_row_level_locking=True另外在airfow的2.0.2版本及以前需要手动设置下mysql的事务隔离级别为READ-COMMITTED，因为默认的REPEATABLE-READ隔离级别会导致很多问题，比如dagrun被设置为成功了，但是里面的task却没执行，产生死锁等问题。详见：https:

查看linux系统信息 命令uname -auname -rcat /proc/version2.查看linux系统版本lsb_release -acat /etc/redhat-release3.查看linux系统的架构是amd还是armarch返回x86_64就是amd的4.查看linux系统是32还是64getconf LONG_BIT5.查看系统是实体机还是虚拟机lspci | grep