logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

使用 Gravitino 与 Apache Spark 进行 ETL

本教程介绍了如何使用Apache Gravitino与Spark构建ETL管道,实现多数据源统一访问。主要内容包括:配置Gravitino Spark连接器,注册MySQL和Iceberg catalog,构建从MySQL到Iceberg的数据转换流程,以及执行跨数据源的联邦查询。通过Gravitino的统一元数据管理,简化了多数据源访问的复杂性,提供集中式配置和即时元数据更新功能。教程详细说明了

文章图片
#大数据#apache#AI
从零开始搭建 Apache Gravitino

在本教程中,您将学习如何从零开始安装和配置 Apache Gravitino。完成本指南后,您将拥有一个运行在您选择的存储后端上的完全功能的 Gravitino 服务器。您将完成的任务:安装 Apache Gravitino从源码或预构建二进制文件,并配置基本服务器设置配置存储后端包括用于开发的 H2 和用于生产环境的 MySQL/PostgreSQL配置 Gravitino 服务器包括 Web

文章图片
#apache#大数据#AI
配置 Gravitino Iceberg REST Catalog 服务器

摘要 本教程详细介绍了如何配置和使用Gravitino Iceberg REST catalog服务。主要内容包括: 服务配置:指导如何在Gravitino服务器中设置Iceberg REST服务作为辅助服务,支持Hive和JDBC等多种catalog后端。 功能验证:通过测试REST端点确保服务正常运行,并展示如何通过标准HTTP API与Gravitino交互。 客户端连接:提供Apache

文章图片
#大数据#AI#apache
配置 Gravitino Lance REST 服务

摘要: 本教程详细介绍了Gravitino Lance REST服务的配置与使用方法。该服务提供RESTful接口管理Lance数据集,支持与Spark、Ray等客户端集成。主要内容包括:通过修改gravitino.conf启用Lance REST服务;验证端点并创建catalog namespace;配置PySpark和Ray客户端连接服务进行数据操作。文中提供了完整的curl命令和Python

文章图片
#大数据#AI
使用 Gravitino 与 Apache Flink 进行流式处理

在本教程中,您将学习如何使用 Apache Gravitino 与 Apache Flink 构建一个简单的流式管道。您将在 Gravitino 中创建一个 Hive catalog 和一个 Paimon catalog,在 Hive catalog 中定义一个基于 Kafka 的,然后使用 Flink SQL(通过 Gravitino Flink connector)从 Kafka 读取数据并写

文章图片
#apache#flink#大数据
使用 Gravitino 与 Apache Flink 进行流式处理

在本教程中,您将学习如何使用 Apache Gravitino 与 Apache Flink 构建一个简单的流式管道。您将在 Gravitino 中创建一个 Hive catalog 和一个 Paimon catalog,在 Hive catalog 中定义一个基于 Kafka 的,然后使用 Flink SQL(通过 Gravitino Flink connector)从 Kafka 读取数据并写

文章图片
#apache#flink#大数据
使用 Gravitino 与 Apache Flink 进行流式处理

在本教程中,您将学习如何使用 Apache Gravitino 与 Apache Flink 构建一个简单的流式管道。您将在 Gravitino 中创建一个 Hive catalog 和一个 Paimon catalog,在 Hive catalog 中定义一个基于 Kafka 的,然后使用 Flink SQL(通过 Gravitino Flink connector)从 Kafka 读取数据并写

文章图片
#apache#flink#大数据
Apache Gravitino 概要介绍

摘要:Apache Gravitino是一个高性能、地理分布式的联邦元数据湖管理系统,提供统一的多源异构元数据管理方案。它支持关系型数据库、大数据存储、文件系统等多种数据源,具备REST API服务、实时元数据同步、统一访问控制和数据血缘追踪等核心功能。Gravitino能与Spark、Trino等计算引擎深度集成,并提供Python生态和云原生支持。该项目已在小米、腾讯等企业落地,通过直接管理模

文章图片
#apache#大数据#AI
到底了