导读

Apache Iceberg 社区很高兴地宣布 Apache Iceberg C++ 0.2.0 版本的发布,此版本包含了来自18位不同贡献者的超过300个合并的拉取请求。值得一提的是,云器科技作为该项目的主要推动者,这次又贡献了其中66%的代码。

关于 Apache Iceberg C++

Apache Iceberg C++ 是一个实现了 Apache Iceberg 规范的 C++ 库。其核心目标是为 C++ 应用程序和系统提供一套完整、高效的接口,以便直接读取、写入和管理 Iceberg 表,而无需依赖 Java 虚拟机(JVM)或其他跨语言调用(如 JNI)。该项目旨在为 C++ 数据生态系统中的各类工具,包括查询引擎、数据处理框架以及客户端应用,提供与 Iceberg 进行原生交互的能力。

本次发布亮点

以下发布说明仅展示了此版本的部分亮点,详细信息请参阅完整的变更日志。

https://github.com/apache/iceberg-cpp/releases/tag/v0.2.0

表扫描和数据访问

  • 支持 v2 删除和元数据列读取
  • 增强的 ManifestReader,支持投影和过滤
  • 实现了文件扫描任务读取器,与 Arrow C Stream 集成

表操作

  • 模式演进:添加、删除、更新和移动列
  • 表更新:属性、排序顺序、分区规范、位置和统计信息
  • 事务 API,支持快照管理(快速追加)

REST Catalog

  • 完整的 REST Catalog 客户端,支持命名空间操作和表 CRUD 操作
  • 支持创建、加载、删除、列出、更新和暂存创建表操作
  • 集成测试覆盖

表达式系统

  • 完整的表达式框架,包括字面量表达式、类型转换和二进制序列化
  • 包容性/严格性指标评估器、清单评估器和残留评估器
  • 聚合表达式和投影评估器

性能和 I/O

  • 优化的 Avro 读写器,支持直接编码和多块支持
  • 可配置的 Avro 和 Parquet 读写器

Catalog和元数据

  • InMemoryCatalog 实现,支持表管理
  • 位置提供者和分区路径生成
  • 模式选择、投影和表元数据构建器

其他

  • Meson 构建系统支持
  • 初始文档网站和 dev container
  • 改进的代码组织和类型安全验证

0.3.0 路线图

社区正在积极开发下一个版本,请参阅。

https://github.com/apache/iceberg-cpp/issues/523

关于云器

云器科技是新一代云湖仓云器Lakehouse的研发公司,是“通用增量计算”的提出者与原创研发团队,总部位于杭州,是国家高新技术企业,入选工信部信通院“大数据星河奖”优秀企业,同时入选Gartner和IDC权威榜单。

参与其中

我们欢迎来自所有感兴趣者的问题和贡献。问题可以在 GitHub 上提交,问题也可以发送到 GitHub 或 Iceberg 开发者邮件列表。

GitHub:

https://github.com/apache/iceberg-cpp/issues

Iceberg 开发者邮件列表:

https://iceberg.apache.org/community/


云器科技官网 - 改变数据的使用方式
更多内容,欢迎关注「云器科技」官网!
云器科技-多云及一体化数据平台提供

更多推荐