在Spark 3.0之前的版本中，日期和时间解析使用java.text.SimpleDateFormat，它在解析某些日期和时间格式时可能较为宽松。例如，它可能允许日期字符串中的月份部分超过12，或日期部分超过31，并尝试自动调整。如果你的代码中有日期和时间解析，并且你升级到了Spark 3.0或更高版本，那么你可能需要关注这个配置选项，以确保代码的兼容性和期望行为。如果你的日期和时间字符串格式严

Based on Flink 1.10.1本文主要讲解下 flink 中 flink-conf.yaml 中有关 slots 的 配置，与 Yarn 中 container 以及 cores 的相应关系。主要涉及以下两个参数# The number of task slots that each TaskManager offers. Each slot runs one parallel pip

       我们在平时的生活中，可能会有 内网 IP 过滤的需求。一般需要过滤以下几个网段跟 ip 局域网可使用的网段（私网地址段）有三大段：10.0.0.0~10.255.255.255（A类）172.16.0.0~172.31.255.255（B类）192.168.0.0~192.168.255.255（C类）小技巧：如果你在网络出口上使用NAT技术，使用任...

在Linux Shell 编程中，我们常需要用到 正则表达式 进行 文件的匹配在本篇文章中，我们对Linux shell 中的正则表达式 做一个总结，方便之后的shell 编写。参考文章：shell编程之正则表达式https://www.cnblogs.com/whc-uestc/p/4700360.htmlshell script 在if 的判断条件正则表达式=~中引号问题https://www

我在给别的开发同事搭建开发环境的时候 经常遇到项目中报红色波浪线的问题。类似下面的图片具体原因不详 ： 怀疑是包下载不全下面给出两种解决方案方案一修改pom 配置文件，讲标红的依赖先删除，并点击reimport,之后重新加上出错的依赖，再reimport方案二从删

构建一个Maven项目后, 我们可以在命令行中 使用 mvn package 将项目输出为 jar 文件，但是一般我们都是使用 IDE 进行项目开发的。如何在IDE Eclipse 中完成这个过程呢？本文将对这个过程进行讲解:1.选择Run 选择其中的 Run Configurations2.填写Name 与 GoalsName 可以随意填写

SparkSQL 相关文档 ：http://spark.apache.org/docs/2.4.4/sql-performance-tuning.html今天使用spark对一组大数据进行合并作join操作，一直都报下面的错：Exception in thread “broadcast-exchange-0” java.lang.OutOfMemoryError: Not enough memor

前提：数仓中的维度，事实表技术提倡用代理键代替实体键，下面我们讲解下代理键的概念，以及Hive中如何生成代理键 (自增列)代理键 ：维度表中必须有一个能够唯一标识一行记录的列，通过该列维护维度表与事实表之间的关系，一般在维度表中业务主键符合条件可以当作维度主键。补充：是由数据仓库处理过程中产生的，与业务本身无关的, 唯一标...

     最近由于运维自动化 需求 ，需要通过 命令的方式 将 JavaWEB 项目打成 一个WAR 包，原以为是个非常容易的工作，但是动手才发现需要点经验。   为避免后人踩坑，特总结一篇文档 目录1.最终的pom.xml2.需要注意的几个点3.运行的打包指令4.插件简介  1.最终的pom.xml   因为一些同学工作紧张，可以快速上手，我把...

druid.io 是一个比较重型的数据库查询系统，分为5种节点 。在此就不对数据库进行介绍了，如果有疑问请参考白皮书：http://pan.baidu.com/s/1eSFlIJS  单台机器的集群搭建首先说一下通用的集群搭建，基于 0.9.1.1下载地址  http://pan.baidu.com/s/1hrJBjlq:修改 conf/