前段时间,我们分享了数仓的分层设计、时效性优化以及灵活建设方法,浅讲了当前国内企业在搭建数仓上遇到的问题,最后为大家提供了多源异构数据整合和数据开发的工具——FineDataLink数据集成平台的两大特性

在直播结束后,收到不少大家关于对接数据源的提问。例如,FDL能调用第三方API接口获取数据吗?能对接SAP系统的数据吗?以及是否能进行数据的写入?

因此本篇我们将详细介绍,FineDataLink作为数据集成工具,能对接哪些数据源,适用的场景有哪些?

FineDataLink从不同数据源进行离线或实时同步,进一步进行转换、清洗等操作,向任意目标端进行写入,实现任意数据源的数据互通。

示例中提到的数据集成工具分享给大家——
https://s.fanruan.com/8j9is
零基础快速上手,还能根据需求进行个性化修改哦

1 已支持的数据源

首先来简单看一下现阶段(2023.5)FineDataLink支持的数据源类型。按照不同的维度,大致划分如下:

关系型数据库:MySQL、Oracle、SQL Server、PostgreSQL、SQLite、HSQL、IBM DB2、Informix
大数据类:SAP HANA、Hadoop Hive、Impala、ClickHouse、Presto、Greenplum、Greenplum(并行装载)、HP Vertica、Doris
国产数据库:达梦、人大金仓Kingbase、华为GaussDB 200、南大通用Gbase 8A
NoSQL:MongoDB
消息队列:Kafka
文件类数据源:FTP/SFTP文件服务器、Excel、CSV
接口类型:RestAPI、WebService、简道云、SAP RFC
其他:服务器数据集等
FineDataLink目前已支持七大类型、30+种数据源(API接口统一算一种),覆盖大部分版本和主流认证方式,已支持的数据源如下图所示:
在这里插入图片描述

这些数据源由FineDataLink的统一数据连接模块对接,然后选择离线或实时同步模块,进行数据集成。

2 应用场景

1、数据复制

技术原理:基于日志的结构化数据复制技术,不依赖源数据库的触发器或者规则,能以极少的系统开销实现秒级数据实时增量同步复制。

应用场景:

跨地域跨业务数据实时同步、数据备份、云上数据快速下云备份

在这里插入图片描述

2、数仓搭建

技术原理:基于ODS、DWD、DWS、ADS和DIM分层设计,通过数据对接、API对接、数据关联、比对更新等数据开发过程,配合任务调度依赖、定时调度配置等完成数仓建设。

应用场景:

整合多源异构数据,基于业务进行企业级数据仓库搭建,提升数据使用质量,以解决业务频繁拿数以及自主分析需求。
在这里插入图片描述

过往案例:

应收账款周转率翻倍!沈阳电信工程局利用简道云+FR+FDL+数知鸟的帆软全家桶工具,释放数据的潜藏价值!

安特威 | 年入过9亿,这家阀门制造企业如何用帆软全套产品建设高时效BI体系

实时大数据时代,看制造业龙头—惠科如何实现“智造”升级的?

3、基于API的企业数据资产

技术原理:通过SQL语句,快速将加工、融合后的多源异构数据封装成规范化API发布,全面兼容主流数据库,普通工程师通过浏览器、无需原厂商配合,即可完成分钟级别API接口数据发布。
在这里插入图片描述

应用场景:

对外能力开放:将企业内部数据以标准API的形式,开放给外部合作伙伴或第三方,可管可控地与外部用户共享服务和数据,达成深度合作,共建新生态。
内部业务集成:规范系统间API数据接口,快速完成企业内部系统的解耦和实现数据的交换。

示例中提到的数据集成工具分享给大家——
https://s.fanruan.com/8j9is
零基础快速上手,还能根据需求进行个性化修改哦

Logo

大数据从业者之家,一起探索大数据的无限可能!

更多推荐