logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

使用docker搭建hadoop分布式集群

使用docker搭建部署hadoop分布式集群在网上找了很长时间都没有找到使用docker搭建hadoop分布式集群的文档,没办法,只能自己写一个了。一:环境准备:1:首先要有一个Centos7操作系统,可以在虚拟机中安装。2:在centos7中安装docker,docker的版本为1.8.2安装步骤如下:<1>安装制定版本的dockeryum inst

#docker#分布式
flink项目开发-配置jar依赖,连接器,类库

Flink 免费视频直播课程地址:https://ke.qq.com/course/283798配置依赖,连接器,类库每个Flink应用程序依赖于一组Flink库。在最低限度,应用程序只依赖Flink api。许多应用程序依赖特定的连接器库(如kafka,cassandra,等等)。Flink运行应用程序时(在分布式部署,或在IDE中测试),Flink运行时库必须是可用的。Fli...

flink实例开发-详细使用指南

Flink入门及实战-上:http://edu.51cto.com/sd/07245Flink入门及实战-下:http://edu.51cto.com/sd/5845eflink实例开发-详细使用指南配置一个maven项目编写一个flink程序编程实战:编写一个向kafka写数据的程序在集群运行 flink整合kafka在本指南中,我们将从头开始,从flink项...

一文看懂大数据生态圈完整知识体系【大数据技术及架构图解实战派】

一文看懂大数据生态圈完整知识体系,包含Hadoop、Spark、Flink、Kafka、Elasticsearch、数据仓库等内容。

文章图片
#大数据#hadoop#spark
1 快速了解Paimon数据湖核心原理及架构

Apache Paimon的前身属于Flink的子项目:Flink Table Store。目前业内主流的数据湖存储项目都是面向批处理场景设计的,在数据更新处理时效上无法满足流式数据湖的需求,因此Flink社区在2022年的时候内部孵化了 Flink Table Store (简称 FTS )子项目,一个真正面向流以及实时的数据湖存储项目。

文章图片
#大数据#数据仓库
5 Paimon数据湖之表数据查询详解

主要涉及Paimon中系统表的查询、批量读取、流式读取,以及时间旅行特性的使用。

文章图片
#大数据
5 Paimon数据湖之表数据查询详解

主要涉及Paimon中系统表的查询、批量读取、流式读取,以及时间旅行特性的使用。

文章图片
#大数据
6 Hive引擎集成Apache Paimon

想要在Hive中操作Paimon,首先需要在Hive中配置Paimon的依赖,此时我们需要用到一个jar包:paimon-hive-connector。

文章图片
#大数据#数据仓库
flink中文文档-快速开始 安装部署

Flink入门及实战-上:http://edu.51cto.com/sd/07245Flink入门及实战-下:http://edu.51cto.com/sd/5845e下载启动flink查看代码运行例子下一步下载启动flinkflink可以在Linux, Mac OS X, 和Windows平台上运行。为了运行flink,只需要安装JAVA7.x(或者更高版...

#flink
到底了