今天跟大家分享的大数据产品叫Apache Hudi，Hudi是Hadoop Updates and Incrementals的简写，它是由Uber开发并开源的Data Lakes解决方案。下面首先放一张Hudi在Hadoop体系架构中的位置图：1. 什么是数据湖？首先介绍一下什么是数据湖，提到数据湖，不得不说一下数据仓库。关系型数据库大行其道的年代，随着各个业务系统增多，在应对一些分析场景时，慢慢

Apache Doris是百度技术团队贡献给Apache的开源产品，曾经的名字为PALO，贡献给Apache后更名为Apache Doris。说起Doris，这里面还有一个有意思的故事，Apache Doris和DorisDB，不是一个产品，但是他们颇有一些渊源，大家可以从网上搜搜。Apache Doris的产品定位如下：Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应

Presto是什么？Presto是一个开源的分布式SQL查询引擎，它以集群的方式运行，采用MPP架构，用在交互式分析查询场景下，可以将多种不同数据量级（从GB到PB）的数据源组合起来进行统一计算。Presto本身只是一个查询引擎，它通过connector的方式完成外部数据源的接入；也就是说通过使用Presto提供的ANSI标准SQL，可以完成多种数据源的标准化计算工作。以下是Presto在数据栈中

✨前言我在上篇文章中，对Presto是什么、能做什么做了简单的介绍，本篇文章，带大家一起来了解一下Presto的各个组件及其作用。这些组件贯穿于Presto整个使用文档中，所以要很好的理解和使用Presto，首先把他们分别是什么、用来做什么弄清楚，很重要。接下来会对这些组件进行一一介绍，包括什么是协调者，什么是工作者，什么是连接器等，当然为了遵从大家的理解习惯，有一些英文仍然会保留。✨服务角色类型

根据 DB-Engines 官方网站数据显示，Snowflake 荣获2021年度数据库。Snowflake在2021年DB-Engines排名中获得比其他383个被监测数据库系统更受欢迎的成绩。 因此，DB-Engines 官方宣布Snowflake为2021年的年度DBMS。为了确定年度DBMS，DB-Engines 从2022年1月的最新得分中减去了2021年1月的流行得分。使用这些数字的差

昨天介绍了Apache Hudi，今天我们来看一下Apache Iceberg，不得不说，在数据湖这一块，竞争也是很激烈啊。下面放一张数据糊在数据栈中的位置图，可以明显的看到Hudi和Iceberg处于贴身肉搏的位置：Apache Iceberg是由 Netflix 开发并开源的、用于庞大分析数据集的开放表格式。 Iceberg在Presto和Spark中添加了使用高性能格式的表（Hudi也支持P

昨天介绍了Apache Hudi，今天我们来看一下Apache Iceberg，不得不说，在数据湖这一块，竞争也是很激烈啊。下面放一张数据糊在数据栈中的位置图，可以明显的看到Hudi和Iceberg处于贴身肉搏的位置：Apache Iceberg是由 Netflix 开发并开源的、用于庞大分析数据集的开放表格式。 Iceberg在Presto和Spark中添加了使用高性能格式的表（Hudi也支持P

主要关注错误信息：DB::Exception: Failed to read all the data from the reader, missing 10485760 bytes。预测可能是因为网络不稳定，数据下载波动导致的。

Maven安装与国内加速配置 ...

其实有一个比较偷懒的办法，你可以用列表形式查看每个文件的大小，文件比较大的一般就是“整本书”的全文朗读，该文件后面跟的几个小文件则是对应的切割音频。1、很多原版点读书都是一个系列的，譬如《我的第一个图书馆》一共有50本书，如果每本书都要对应一个封面帖，那得做50个BNL文件，这个工作量是很大的，这时候我们可以考虑把一张封面帖剪开来分别贴到几本书上（记得覆上透明胶保护一下，不然会磨损），那么可以把几