Spark在执行Action算子时，Spark会根据Action操作之前一系列Transform操作的关联关系生成一个DAG，在后续的操作中对DAG进行Stage划分，生成Task并最终运行。整个过程分为如下三步DAGScheduler对每个Application进行分析，根据各RDD之间的依赖关系划分stageDAGScheduler根据划分的每个Stage生成一组Task，将TaskSet提

键值对RDD也叫做Pair RDD1. 创建Pair RDD把一个普通 RDD转换为pair RDD的时候使用map()函数来实现#使用第一个单词作为一个键，创建一个pair RDDpairs=lines.map(lambda x:(x.split(" ")[0],x))2.Pair RDD转化操作2.1针对单个pairRDD的转换操作reduceByKey(func)合并具有相同键的值rd

在测试Spark计算时，将作业提交到yarn（模式–master yarn-cluster）上，想查看print到控制台这是imposible的，因为作业是提交到yarn的集群上，so 去yarn集群上看日志是很麻烦的，但有特别想看下print的信息，方便调试或者别的目的 在Spark的conf目录下，把log4j.properties.template修改为log4j.properties，原来

这周周一，我们导师要求小组成员开会，我们分别汇报自己的工作，在会中，谈到了用例图，于是我们开始对大家熟悉的用例图进行探讨。经过探讨与自己的思考，我认为应该从以下几个问题来弄清楚用例图的作用。1、用例图由谁来做？为谁做，做完了有什么用途？用例图非常直观的的表达了客户的需求，大家想想我们在与客户沟通完成后，我们大脑中得到了什么？答案就是我们的用例图，仔细想想，难道不是吗？用例图把角色和角色完成的动作

关于MyBatis配置的时候，出现Result Maps collection already contains value for *这个的问题 字面意思就是某某已经存在，这样的情况下Spring已经注入过一次， 其中有一种情况就是使用mybatisGenerator生成xml的时候，可能xml的内容不会被覆盖，而是追加到后面，导致xml里面有两份甚至更多的一样的内容，导致重复注