1. 概述job - stage -TaskSet - Task.spark调度中，最重要的就是DAGScheduler和TaskScheduler调度器：DAGScheduler负责任务的逻辑调度。TaskScheduler负责具体任务的调度执行。根据图1从整体上对Spark的作业和任务调度做了分析spark 的APP 进行各种转换操作，通过行动操作触发作业运行。根据RDD之间的D...

junit要注意的细节：1. 如果使用junit测试一个方法的时候，在junit窗口上显示绿条那么代表测试正确，　如果是出现了红条，则代表该方法测试出现了异常不通过。2. 如果点击方法名、 类名、包名、 工程名运行junit分别测试的是对应的方法，类、 包中 的所有类的test方法，工程中的所有test方法。3. @Test测试的方法不能是static修饰与不能带有形参。4. 如果测试一...

文章目录1 前言2 translog flush间隔调整2.1index.translog.durability2.2 index.translog.flush_threshold_size3 索引刷新间隔refresh_interval4 段合并优化1 前言   在集群正常运行的前提下，如果是集群首次批量导入数据时，可以将副本数设置为0，导入完毕后再将副本数调整为正常值，这样副分片就只需...

大白话说Java反射：入门、使用、原理目录一个简单的例子反射常用API获取反射中的Class对象通过反射创建类对象通过反射获取类属性、方法、构造器反射源码解析文章首发于【博客园-陈树义】，点击跳转到原文《大白话说Java反射：入门、进阶、原理》反射之中包含了一个「反」字，所以想要解释反射就必须先从「正」开始解释。一般情况下，我们使用某个类时必定知道它是...