spark内置了非常多有用的算子（方法），通过对这些算子的组合就可以完成业务需要的功能，spark的编程归根结底就是对spark算子的使用，因此非常有必要对这些内置算子进行详细的归纳。spark算子在大的方向上可以分为两类：名称说明Transformation变换、转换算子：不触发提交作业，只是完成作业中间过程处理；Transformation 操作是延迟计算的，也就是说...

直接比较Hadoop和Spark有难度，因为它们处理的许多任务都一样，但是在一些方面又并不相互重叠。比如说，Spark没有文件管理功能，因而必须依赖Hadoop分布式文件系统(HDFS)或另外某种解决方案。Hadoop框架的主要模块包括如下：Hadoop CommonHadoop分布式文件系统(HDFS)Hadoop YARNHadoop MapReduce虽然上述四个模块构成了Ha...

一：优先级优先级：是计算机分时操作系统在处理多个作业程序时，决定各个作业程序接受系统资源的优先等级的参数。二：情况进程是有优先级的。如果即将被运行的进程的优先级比正在运行的进程的优先级高，则系统可以强行剥夺正在运行的进程的CPU，让优先级高的进程先运行。三：spark中每个值将作为一个flags传递到应用中并个SparkConf对象中相应的属性进行合并。通过SparkConf 对象配置的...

一：spark的UI界面二：spark的UI界面解析1 代表job页面，在里面可以看到当前应用分析出来的所有任务，以及所有的excutors中action的执行时间。页可以分为两部分，一部分是event timeline，另一部分是进行中和完成的job任务。第一部分event timeline展开后，可以看到executor创建的时间点，以及某个action触发的算子任务，执行的时间。通...

这个错误通常是由于Hive配置参数的问题引起的。根据Cloudera社区的一篇帖子，他们在升级Cloudera版本时遇到了类似的问题，并通过更改Hive配置参数 “hive.metadata.dml.events” 的值为 “false” 来解决了这个问题。这个参数控制是否启用Hive元数据DML事件。你可以尝试将这个参数设置为 “false”，然后重新运行你的查询，看看问题是否得到解决。以下是一

每个Spark　action的所有分区的序列化结果的总大小限制（例如，collect行动算子）。应该至少为1M，或者为无限制。如果超过1g，job将被中止。如果driver.maxResultSize设置过大可能会超出内存（取决于spark.driver.memory和JVM中对象的内存开销）。设置适当的参数限制可以防止内存不足。设置为0则为无限制，但是有OOM的风险。这会将最大结果大小设置为 2

2、设置用户列表，例如：user1,user2,user3…1、设置为通配符*，允许任何用户访问和下载策略文件。PS：admin 权限可以直接下载策略。查看官方的配置只支持2种写法。操作：（采用了官方配置1）

{user.name} ,此时有个问题就是 NameNode 会将 HDFS 的元数据存储在这个/tmp目录下，如果操作系统重启了，系统会清空 /tmp 目录下的东西，导致NameNode元数据丢失，是个非常严重的问题，所有我们应该修改这个路径。：这是 HDFS 的文件系统镜像，记录了整个文件系统命名空间的状态。hadoop.tmp.dir 配置的是Hadoop临时目录，比如HDFS的NameNo

例如，如果 dfs.replication 为 3，dfs.namenode.replication.work.multiplier.per.iteration 为 2，则每次迭代会生成 6 个复制任务。与上述参数相比，它提供了一种更强制的限制，无论 dfs.namenode.replication.work.multiplier.per.iteration 的值如何，都不会超过该硬限制。如果未设

配置Hive锁管理器：设置hive.lock.manager属性的值为正确的锁管理器实现类。常见的锁管理器实现包括org.apache.hadoop.hive.ql.lockmgr.zookeeper.ZooKeeperHiveLockManager和org.apache.hadoop.hive.ql.lockmgr.EmbeddedLockManager。打开Hive的配置文件（例如hive-s