FineDataLink是一款集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具,可在Windows或Linux环境上部署,全程基于B/S浏览器端进行任务开发和任务运维,更多精彩功能,邀您体验,希望能帮您解决企业中数据从任意终端到任意终端的处理和传输问题。

最近两个月,FineDataLink 不断更新升级,期待为您带来更好的产品体验和实践案例。下面快来看看有哪些新变化吧~

示例中提到的数据模板分享给大家—— https://s.fanruan.com/8j9is 零基础快速上手,还能根据需求进行个性化修改哦

1 新增数据源

1、MaxCompute

MaxCompute 是一种快速、完全托管的 TB/PB 级数据仓库解决方案,常作为企业的数据仓库。

为了使得MaxCompute中数据发挥更大的价值,此次适配使得MaxCompute能快速便捷连接外部SaaS应用、通讯工具等,完成业务数据的集成、传输。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
2、StarRocks

StarRocks是一款极速全场景 MPP 数据库,常作为企业数仓存储库,实时性好、支持秒级写入,支持高并发分析查询。

为了降低基于StarRocks的数仓建设、维护难度,以及提高性能,此次适配使得数据开发工程师在“从常规数据库到大数据转移”阶段——实现“ETL零学习成本”。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
3、Doris

Doris作为一款简单易用、高性能和统一的分析数据库,有丰富的生态环境,兼容MySQL,适合OLAP分析,不仅可以支持高并发的点查询场景,还能支持高吞吐的复杂分析场景。

从数据集成到BI自主分析, 让企业拥有高性能存储的同时具备轻松驾驭数据洞察力:

实时(基于日志的数据管道)/ 定时抽取业务系统数据写入Doris

基于Doris在FDL内进行ETL数据开发,形成DW、DW层

对接Doris进行BI自助分析、报表分析等
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4、星环:Inceptor

Inceptor 是全球首个通过分析决策系统国际基准测试TPC-DS的产品,支持完整的SQL标准语法,兼容Oracle、IBM DB2、TeraData方言,兼容Oracle和DB2的存储过程,可以平滑迁移应用;支持分布式事务处理,保障数据强一致性,可以帮助用户快速开发数据湖以及其他结构化数据的分析应用等。

此次适配,使得企业在完成国产化数据库的替换后,可以进一步灵活、便捷地完成ETL/ELT数据处理以及自主分析。
在这里插入图片描述
在这里插入图片描述

5、文件输出

Excel/CSV等文件数据,在ETL/ELT场景中多作为数据源输入,但部分场景下需要作为输出,将数仓、数据库的数据到导出为文件(本地服务器或者是指定FTP/SFTP服务器上)。

文件输出这一功能,使得来自于任一数据源(数据库、API、SaaS应用等)的数据直接或者是经过处理后,输出到Excel/CSV。

常见场景:

数据定时、批量以文件形式存档

系统数据维护,将其他系统的数据导出,再通过excel导入更加方便

需要将加工好的数据(甚至是大数据量)通过文件形式分享给业务人员使用、分析

系统数据交换,强制需要以文件形式下发数据给其他业务系统使用
在这里插入图片描述

2 任务管理

1、定时任务&API支持复制

在ETL/ELT任务开发过程中,经常会遇到任务相似性极高的情况,为了方便进行快速配置,此次更新支持用户自行进行任务复制。

常见场景:

任务流程相似度高,通过复制任务更改部分配置项即可使用

管理员建立标准模板,普通开发人员复用标准模板
在这里插入图片描述
在这里插入图片描述

2、任务支持超时限制、失败重跑

因为网络原因(网络原因导致的临时数据连接中断、配置库连接中断等)而导致的中断任务,任务可设置自动重跑和超时限制,减少因为网络原因而导致的人工检查工作量。
在这里插入图片描述
在这里插入图片描述

FDL免费试用

示例中提到的数据模板分享给大家—— https://s.fanruan.com/8j9is 零基础快速上手,还能根据需求进行个性化修改哦

Logo

数据库是今天社会发展不可缺少的重要技术,它可以把大量的信息进行有序的存储和管理,为企业的数据处理提供了强大的保障。

更多推荐