
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
Gudu SQL Omni是一款专为数据工程师打造的VS Code插件级SQL血缘分析工具。相比传统Web工具,它具有本地运行、无需部署、安全可靠等优势,支持30+SQL方言解析和字段级血缘追踪,可快速生成交互式血缘图和ER图。实际测试中,500行Hive SQL仅需2.8秒即可完成分析。与SQLFlow等工具相比,该插件更轻量、易用且完全离线,特别适合个人开发者和中小团队快速使用。目前提供免费版
分布式系统是什么分布式系统:一个硬件或软件组件分布在不同的网络计算机上,彼此之间仅仅通过消息传递进行通信和协调的系统这是分布式系统,在不同的硬件,不同的软件,不同的网络,不同的计算机上,仅仅通过消息来进行通讯与协调。这是他的特点,更细致的看这些特点又可以有:分布性、对等性、并发性、缺乏全局时钟、故障随时会发生。分布式系统带来的问题如果把分布式系统和平时的交通系统进行对比,哪怕再稳健的交通...
SQLFlow 作为一个分析数据血缘关系工具,通过对收集的 SQL 脚本或者其他格式包含 SQL 的文件分析得到 data lineage。目前支持获取 SQL 的方式:通过在线递交SQL 文本。连接指定数据库获取 metadata。上传本地文件目录从指定 git 仓库获取 SQL 脚本对于文件格式,目前支持 SQL 脚本,包含 metadata 的 JSON 文件,特定格式的 CSV 文件以及
无论您是数据领域的专业人员,还是其他领域的非专业人士,也许都曾遇到过数据不完整、数据过时、数据不一致、数据不准确等问题。这些低质量的数据不仅没能解决最初的疑问,甚至还可能衍生出了其他问题。质量低劣的数据会影响数据分析结果,误导业务决策,造成经济或其他方面的损失,损害使用者的信心。因此,为了避免这类问题,组织机构有必要把控数据质量。数据质量也是的重要一环。。但从广义的层面而言,数据质量还可以包括定义

在信息经济时代,数据是企业的一大关键资产。为了制定科学、有效、合理的决策,企业需要收集大量的数据并进行各种数据分析,为决策提供依据。在此过程中,收集数据的速度、数据的质量和可靠性、对数据的分析过程、合适的分析工具等,都对最终决策具有显著影响。这些其实都属于数据治理的范围。

介绍元数据管理之前,首先需要了解什么是元数据。

数据安全 (Data Security)一般指保护重要的、机密的纸质信息或数字信息,防止未经授权的非法访问、泄露、篡改、丢失、损坏、数据滥用等情形。数据安全涵盖的范围非常广泛,包括存储数据的硬件设备、访问数据的软件环境、访问权限控制、相关的规章制度等。说到数据安全,最常见的话题就是数据库安全和数据隐私。。有时还会加上问责制一同构成 CIA+A 四要素。CIA 三要素。

注册 访客只能进行用户注册、查看用户隐私政策以及向马哈鱼官方反馈意见或建议,其他功能不可使用。所以,首次接触马哈鱼,无论你是初学者或者是专业的数据分析师,都需要先进行马哈鱼用户注册,才能进行下一步学习或工作活动。 针对不同的使用场景,马哈鱼血缘分析器提供多种账户类型,在注册前可以根据自己实际情况进行身份匹配,避免反复切换用户类型影响工作效率,具体的场景介绍及适配账户类型参考下图: 马哈鱼用户分类
数据治理中的一个重要基础工作是分析组织中数据的血缘关系。有了完整的数据血缘关系,我们可以用它进行数据溯源、表和字段变更的影响分析、数据合规性的证明、数据质量的检查等。 分析数据血缘的方法主要分为四类 自动解析 系统跟踪 机器学习 人工收集 自动解析主要是利用工具解析 SQL 语句、存储过程和 ETL等文件。本文以 Oracle 为例,来说明如何分析 SQL 和存储过程中的数据血缘。 产生数据血缘的
马哈鱼数据血缘分析器是一个分析数据血缘关系的平台,可以在线直接递交 SQL 语句进行分析,也可以选择连接指定数据库获取 metadata、从本地上传文件目录、或从指定 git 仓库获取脚本进行分析。 本文介绍如果利用马哈鱼来分析SQL的case-when语句中字段依赖关系。 一个简单的Case 考虑如下SQL: select case when a.kamut=1 and b.teur IS nu







