AllData集成开源项目Gonavi,涵盖7大类数据库:关系型/内存/国产/向量/消息队列/物联网/数仓,建设模数共振业务平台!
►顶部微信名片可直接添加市场总监,商务咨询、方案沟通即时响应
►点击链接了解更新详情:演示体验、社群咨询、商务采购
https://docs.qq.com/doc/DVHlkSEtvVXVCdEFo

GoNavi是面向异构数据库的一体化数据工作台,集多源连接管理、元数据采集、库表比对、数据一致性校验、跨库数据同步与在线 SQL 探查于一体,实现异构数据库的数据资产可管、结构可比、数据可验、流转可控。
AllData可定义数据中台集成开源项目GoNavi构建模数共建数据源模块,以GoNavi作为多源数据交互枢纽,一站式完成数据源接入、库表元数据管理、表结构差异比对、数据校验、异构数据同步等数据集成运维工作。
GoNavi 开源项目:https://github.com/Syngnat/GoNavi
GoNavi 官方文档:https://gonavi.org/zh/docs
开源项目GoNavi支持7大分类、合计29种数据源:
一、关系型数据库
1.MySQL:开源轻量关系库,互联网常用,支持事务。
2. PostgreSQL:开源企业级关系库,扩展性强,数据类型丰富。
3. Oracle:商用大型关系库,高可靠,多用于金融核心业务。
4. SQL Server:微软商用数据库,深度适配Windows与BI生态。
5. MongoDB:文档型数据库,JSON存储,适配非结构化数据。
6. MariaDB:MySQL开源分支,完全兼容MySQL,性能优化。
二、内存数据库
7. SQLite:嵌入式轻量文件库,无需独立服务,单机本地存储。
8. DuckDB:嵌入式OLAP分析库,本地极速SQL查询,轻量数据分析。
三、国产数据库
9. GoldenDB:中兴自研分布式数据库,面向金融交易场景。
10. OceanBase:蚂蚁自研分布式库,单库同时支撑交易与分析。
11. Dameng(达梦):国产商用数据库,高度兼容Oracle,国产化替换主流。
12. Kingbase(人大金仓):国产自主可控数据库,广泛用于政务项目。
13. HighGo(瀚高):基于PostgreSQL开发的国产数据库,适配国产化要求。
14. Vastbase(海量):PostgreSQL衍生国产分布式库,支持混合负载。
15. OpenGauss:华为开源企业级数据库,高性能、高安全性。
16. GaussDB:华为云商用数据库,云原生,支持多类业务负载。
四、向量数据库
17. Qdrant:开源向量数据库,存储向量Embedding,实现相似度检索。
18. Milvus:开源分布式向量库,面向海量向量,适配大模型检索。
五、消息队列数据库(半结构化)
19. Kafka:分布式消息流平台,高吞吐,用于日志与实时数据流。
20. RabbitMQ:经典消息中间件,路由策略丰富,用于业务异步解耦。
21. RocketMQ:阿里开源消息队列,高可靠,可承载金融级消息投递。
22. Redis:高性能内存KV库,多用于缓存,也可实现消息队列能力。
23. Elasticsearch:分布式检索引擎,存储半结构化数据,日志文本检索。
六、物联网数据库
24. IoTDB:物联网时序数据库,高压缩比,存储设备采集时序数据。
25. TDengine:国产时序数据库,写入快、低成本,适配物联网场景。
七、数据仓库
26. Doris:开源MPP数仓,支持实时离线分析,查询秒级返回。
27. StarRocks:新一代MPP数仓,极速实时分析,适配实时数仓场景。
28. ClickHouse:列式OLAP库,查询性能强,海量日志明细统计。
29. Trino:分布式SQL联邦查询引擎,不存数据,跨多数据源统一查询。

1、模数共建数据源-使用流程图示

2、工作台
用于统一管理各类数据源连接,可新建数据库连接、编写执行 SQL 查询、管理 SQL 文件,支持 AI 辅助查询,一站式完成数据连接、查询与分析。

2.1 添加数据源
• 模数共建数据源支持MySQL、Doris、PostgreSQL、ClickHouse等多种异构数据源,可快速选择数据库类型并完成连接配置,实现多类数据库统一接入。

2.2 支持的异构源数据

•填写数据源信息进行添加

• 用SQL语句查询数据表

• 运行成功后显示查询的数据表数据

• 点击打开AI智能分析,通过输入自然语言语句,AI将根据需求自动分析当前页面数据并生成完成的结果。


3、批量处理
3.1 批量处理表
针对选定数据表,批量导出表结构、表数据或执行批量删除,支持导出建表 SQL,实现多表对象一次性运维。

• 开始导出后显示导出进度


⚠️ 注意:
1、对象范围风险:勾选表时仔细核对,批量删除是多表一次性执行,误勾选会直接丢失表结构 / 数据,无回收站;导出前确认表是否在业务读写,业务高峰期导出会锁表、拖累源库性能。2、导出内容选项:只导出结构 / 结构 + 数据按需选择;勾选「在建表前添加 DROP IF
EXISTS」时,目标库存在同名表会被直接覆盖,测试环境验证后再上生产。3、任务执行:大批量表导出会占用平台与源库连接资源,任务长时间运行注意不要关闭页面;任务中断后需要校验已导出对象完整性。

⚠️注意:截断表会保留表结构,快速清空表内全部数据,重置自增主键,操作不可回滚。
3.2 批量处理数据库
以整个数据库为操作对象,批量导出全库表结构、数据,完成整库备份或批量删除库内对象,适用于库级迁移与备份场景。

3.3 数据导入
支持外部文件或 SQL 脚本批量导入,快速向目标库批量建表、灌入业务数据,完成外部数据向中台数据源的灌入。

4、SQL工具
4.1 慢SQL工作台
统计执行耗时≥500ms 的SQL,提供慢查询检索与性能分析,用于发现低效SQL。

4.2 打开SQL审计中心
采集并存储所有SQL操作事件,记录查询、事务、数据变更的审计证据,支持检索、导出与完整性校验,实现数据库操作留痕追溯。

4.3 运行外部SQL文件
支持上传外部SQL脚本文件,直接在平台中执行批量 QL语句,完成建表、数据变更等批量数据库操作。从外部添加sql文件后会添加到工作台列表中。

💡 小知识:这里的SQL文件不是数据表,是存放多条SQL语句的脚本文件(.sql),里面可以包含建表、改表、插入数据等各类 SQL指令,执行后才会在数据库里生成 / 修改数据表。
上传完成后点击执行脚本,平台才会逐条运行里面的SQL:如果脚本包含建表语句,才会在目标数据库生成数据表;也可以只做查询、更新、删除等操作。
5、数据工作流
5.1 表结构比对
选取源、目标数据库,对比两边表字段、类型等结构差异,预览并生成结构变更 SQL 脚本,仅做差异分析,不会自动执行变更。
步骤1:选择源端和目标端的数据库。

⚠️注意:数据库名称不需要一致,库名不一样照样可以比对成功;库名只是用来定位两端各自的库,不要求源库名 = 目标库名。
步骤2:选择源端数据表,系统根据选择的数据表到目标端中自动找到表名相同的数据表进行比对。点击【下一步】按钮进行比对。

步骤3:运行完成后显示比对结果。

⚠️ 注意:表结构比对,不校验表里的数据内容;如果要核对业务记录是否一致,需要切换到【数据比对】功能。
5.2 数据比对
支持按表比对或按 SQL 结果集比对两种模式,校验源库与目标库的数据内容差异,用于核对两边数据是否一致。
步骤1:选择源端和目标端的数据库。

步骤2:选择源端数据表,系统根据选择的数据表到目标端中自动找到表名相同的数据表进行比对。点击【下一步】按钮进行比对。

⚠️注意:匹配规则只按表名匹配,不看库名,源库和目标库名字可以不一样;如果源表和目标表表名不一致,这套自动匹配就失效,表结构比对无法自动匹配,这种场景要改用【数据比对】的按 SQL 结果集比对。
步骤3:运行完成后显示比对结果,这里显示数据比对是逐行比对全量数据。

5.3 数据同步
选定源表并配置源目标连接,将源库表数据复制同步至目标数据库,支持先查看数据差异,再启动同步任务,完成库间数据迁移。
步骤1:选择源端和目标端的数据库,选择同步方式。

💡 小知识:
1、按表同步依靠表名自动匹配,源表名和目标表名需要一致。适合整表迁移、多表批量同步;适合源表结构直接复用、不需要裁剪字段 /过滤数据。
2、按SQL数据集同步不依赖表名,依靠SQL结果里的主键/唯一键做行匹配;源、目标表名可以不一样。适合多表关联JOIN之后再同步、只同步部分字段和源表和目标表名不一致的异构同步场景。
步骤2:选择需要源端需要同步的数据表,点击【开始同步】进行数据同步

💡 适用场景:异构库迁移、业务数据镜像、无 binlog 环境增量更新、批量表迁移、SQL 预处理后数据同步。
⚠️ 注意:
1、正式同步前,优先执行表结构比对 + 数据比对做前置校验,提前发现结构不匹配、脏数据。
2、增量模式默认使用已有目标表,提前核对字段、数据类型进行目标表预先检查;自动补齐缺失字段功能存在数据库类型限制,不可盲目。
6、连接与设置
6.1 数据目录
管理连接对应的本地数据存储位置,支持查看、切换与迁移存储路径。

6.2 安全更新
对已保存的数据源连接信息进行安全更新,维护账号、密码等敏感连接凭证。

6.3 导入连接配置
批量导入外部连接配置文件,快速批量新建多数据源连接,减少重复录入。
6.4 导出连接配置
将当前平台内已有的数据源连接配置导出为文件,用于备份、环境迁移或交付。
7、设置
集中管理模数共建数据源模块的通用配置,包含服务配置与编辑器与驱动两大板块,统一管控网络、认证、备份、AI 参数、编辑器及数据库驱动。

更多推荐

所有评论(0)