1.在github中创建repository（最好带 readme.md）2.通过sourcetree clone到本地文件夹下（clone的是一个项目）3.IntelliJ IDEA点击open本地的那个项目4.在IntelliJ IDEA的这个项目上new Model。5.done

1、git revert（1）git revert命令通过创建一次新的commit来撤销一次commit所做出的修改。这种撤销的方式是安全的，因为它并不修改commitmhistory, 比如下边的命令将会查出倒数第二次（即当前commit的往前一次）提交的修改，并创建一个新的提交，用于撤销当前提交的上一次commit）。（总之就是一句话：有了commitid就可以回到...

1、spark本身是无状态的，所以我们可以把它看成一个rdd一个算子一个rdd的去处理，就是说可以看成分段处理，但是flink是有状态的，我们要把它看成一个个event记录去处理，当遇到窗口时会进行阻塞等待，窗口的聚合操作是无状态的。过了窗口后DataStream的算子聚合操作就是有状态的操作了，所以flink要把聚合操作都放到窗口操作之前，才能进行无状态的聚合操作。而spark全程都是无状态的，

目录1、首先介绍yarn的模型图（1）、yarn 模型图（2）、yarn的流程如下：2、cluster模式下提交任务流程（1）、流程图如下（2）、工作流程如下：3、在Client模式下，Driver进程会在当前客户端启动，客户端进程一直存在直到应用程序运行结束。（1）、client模式下的流程图（2）、工作流程如下：4、Spark任务调度1、首先介...

目录1、Spark性能调优之资源分配大体上这两个方面：coremem（1）、分配哪些资源？（2）、在哪里分配这些资源？（3）、调节到多大，算是最大呢？（4）、为什么调节了资源以后，性能可以提升？2、分区个数和task个数的关系3、Spark性能调优之合理设置并行度（1）、Spark的并行度指的是什么？（2）、如何去提高并行度？1...

目标：取出["4873748","666"]数组中的数字。方式：正则表达式选择。regexp_extract 函数，第一个参数为要解析的数组或字符串等，第二个参数为正则表达式，第三个索引。这里，参数一：["4873748","666"]参数二：([0-9]+) 正则表达式，意为筛选数字，这里的‘+’指的是，多次重复。是正则匹配组的含义参数三：0 (0表示把整个符合正则表达式对应...

目录1、通过jmap查看整体信息：jmap -heap2、通过jstat查看gc的信息：jstat -gcutil :统计gc信息3、通过jmap 对jvm信息进行dump，在MAP工具中查看4、利用jstack查看jvm线程的情况1、通过jmap查看整体信息：jmap -heap <pid>[root@localhost ~]# jmap -heap 27900Attaching t

目录1、Spark性能调优之资源分配大体上这两个方面：coremem（1）、分配哪些资源？（2）、在哪里分配这些资源？（3）、调节到多大，算是最大呢？（4）、为什么调节了资源以后，性能可以提升？2、分区个数和task个数的关系3、Spark性能调优之合理设置并行度（1）、Spark的并行度指的是什么？（2）、如何去提高并行度？1...

.disabled{color:gray;cursor:pointer;pointer-events: none;}第二行是使鼠标变成箭头而不再是小手形状第三行是使超链接失效代码超链接如下a href="templates/index.html" class="disabled" th:href="@{/insert(uid=${uid},keys=${key})}