文章目录一、背景二、基于java的本地测试datax2.1 github上下载datax的源代码2.2datax代码导入idea三、docker安装南大通用数据库GBase和GBase 8a3.1 docker安装Gbase 8a3.2 docker安装Gbase 8s三、南大通用数据库GBase 8sToGBase 8a3.1 GBase 8s的reader读插件开发（writer同理）四、南大

引言Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。借用官方的一张图，可以直观地看到topic和partition的关系。partition是以文件的形式存储在文件系统中，比如...

一个博主的京东爬虫，自己改写成爬取京东书籍。两个爬虫：1、爬取京东书籍信息。2、爬取京东评论信息公用文件：JingdongspiderItem、MySQLPipeline、settings1、爬取京东书籍信息# -*- coding: utf-8 -*-import requestsfrom jingdongspider.items import Jingdongspider...

Flink手册，值得收藏。

大数据平台研发，全局概览导向。

数据指北 AI

免费好用的全域数据集成平台

大数据CDH的运维点点滴滴

文章目录一、背景二、基于java的本地测试datax2.1 github上下载datax的源代码2.2datax代码导入idea三、docker安装南大通用数据库GBase和GBase 8a3.1 docker安装Gbase 8a3.2 docker安装Gbase 8s三、南大通用数据库GBase 8sToGBase 8a3.1 GBase 8s的reader读插件开发（writer同理）四、南大

我们真的是Sqlboy吗？