全球最大的开源软件基金会 Apache 软件基金会（以下简称 Apache）于北京时间 2021年4月9日在官方渠道宣布Apache DolphinScheduler 毕业成为Apache...

当今时代，跳槽确实是大部分人升职加薪最快的方式，特别是职业生涯初期。说起来也是很无奈，公司经常是宁愿花更多的钱来请个新人也不愿意加薪留住老人。面试了 N 多公司之后，我发现其实问来问去也...

目前市面上流行的三大开源数据湖方案分别为：delta、Apache Iceberg和Apache Hudi。其中，由于Apache Spark在商业化上取得巨大成功，所以由其背后商业公司...

最近到了招聘旺季，发现一些朋友很纠结一个问题：做后端开发和做大数据开发？这个问题还是比较普遍的。其实，后端开发，更专注于一种技术栈的开发，对于成熟的开发框架而言，的确市面上的竞争压力会比...

1 什么是数据倾斜数据倾斜即指在大数据计算任务中某个处理任务的进程（通常是一个JVM进程）被分配到的任务量过多，导致任务运行时间超长甚至最终失败，进而导致整个大任务超长时间运行或者失败。外...

本文翻译自：https://databricks.com/blog/2020/01/30/what-is-a-data-lakehouse.html，由 ApacheHudi 公众号翻译...

本文将全面讲解数仓建设规范，从数据模型规范，到数仓公共规范，数仓各层规范，最后到数仓命名规范，包括表命名，指标字段命名规范等！目录：一、数据模型架构原则数仓分层原则主题域划分原则数据模型设...

导读：我们可以这样理解，传统大数据平台和数据仓库是数据中台的数据来源，建设数据中台是为了更好地服务于业务部门。作者：彭锋 宋文欣 孙浩峰来源：大数据DT（ID：hzdashuju）图1-1...

本文资料来自2020年9月5日由快手技术团队主办的快手大数据平台架构技术交流会，分享者邵赛赛，腾讯数据平台部数据湖内核技术负责人，资深大数据工程师，Apache Spark PMC me...

很多转行学习大数据的同学时常会发现，自己学习的是一套东西，到大公司面试时将的又是另一套东西。其实，归根结底，还是本人缺少真正的实战经验，这里整理了一份系统化学习的大数据思维导图（完整版...