logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

使用SQLFlow从数据库中拉取数据分析

SQLFlow还支持从指定数据库中拉取表,视图,存储过程进行分析,获取data lineage。目前SQLFlow支持的数据库有:azure,greenplum,mysql,sqlserver,oracle,snowflake,netezza,postgresql,redshift,teradata连接数据库对数据库数据进行筛选参数的含义见官方文档: Grabit查看连接信息连接成功后可以查看输入

#数据库#sql
马哈鱼数据血缘关系分析工具处理CSV文件中的SQL

SQLFlow 作为一个分析数据血缘关系工具,通过对收集的 SQL 脚本或者其他格式包含 SQL 的文件分析得到 data lineage。目前支持获取 SQL 的方式:通过在线递交SQL 文本。连接指定数据库获取 metadata。上传本地文件目录从指定 git 仓库获取 SQL 脚本对于文件格式,目前支持 SQL 脚本,包含 metadata 的 JSON 文件,特定格式的 CSV 文件以及

#sql#数据库#python
大数据治理入门系列:数据目录

在一文中,我们曾将数据比喻为一本本的书,将书的作者、出版时间等信息比喻为元数据。试想一下,假如你是一名新任的图书管理员,如何快速掌握图书馆的馆藏情况呢?假如你是一名读者,如何快速找到你需要的图书呢?想必你需要一份内容完整、结构清晰的图书清单。同样地,。这就是本文要介绍的数据目录(Data Catalog)。

文章图片
#大数据
大数据治理:数据安全

数据安全 (Data Security)一般指保护重要的、机密的纸质信息或数字信息,防止未经授权的非法访问、泄露、篡改、丢失、损坏、数据滥用等情形。数据安全涵盖的范围非常广泛,包括存储数据的硬件设备、访问数据的软件环境、访问权限控制、相关的规章制度等。说到数据安全,最常见的话题就是数据库安全和数据隐私。。有时还会加上问责制一同构成 CIA+A 四要素。CIA 三要素。

文章图片
#大数据#网络#服务器
大数据治理入门系列:数据血缘关系

血缘关系在人类社会中扮演着重要角色。大多数家庭是基于血缘关系形成的,而家庭作为社会的基本单元,对维系社会稳定发挥着重要关系。其实,数据之间也存在类似的血缘关系。数据从产生、加工、流转,一直到消亡,每个环节必然存在一定的联系,这种联系就是数据的血缘关系。数据血缘关系(Data Lineage) 是对数据在系统内、系统间、业务线之间的流动和转换过程的记录,通过这份记录可以追溯数据的源头,跟踪数据的流转

文章图片
#大数据
大数据治理入门系列:数据目录

在一文中,我们曾将数据比喻为一本本的书,将书的作者、出版时间等信息比喻为元数据。试想一下,假如你是一名新任的图书管理员,如何快速掌握图书馆的馆藏情况呢?假如你是一名读者,如何快速找到你需要的图书呢?想必你需要一份内容完整、结构清晰的图书清单。同样地,。这就是本文要介绍的数据目录(Data Catalog)。

文章图片
#大数据
大数据治理入门系列:数据质量

无论您是数据领域的专业人员,还是其他领域的非专业人士,也许都曾遇到过数据不完整、数据过时、数据不一致、数据不准确等问题。这些低质量的数据不仅没能解决最初的疑问,甚至还可能衍生出了其他问题。质量低劣的数据会影响数据分析结果,误导业务决策,造成经济或其他方面的损失,损害使用者的信心。因此,为了避免这类问题,组织机构有必要把控数据质量。数据质量也是的重要一环。。但从广义的层面而言,数据质量还可以包括定义

文章图片
#大数据#人工智能#python
大数据治理入门系列:数据治理

在信息经济时代,数据是企业的一大关键资产。为了制定科学、有效、合理的决策,企业需要收集大量的数据并进行各种数据分析,为决策提供依据。在此过程中,收集数据的速度、数据的质量和可靠性、对数据的分析过程、合适的分析工具等,都对最终决策具有显著影响。这些其实都属于数据治理的范围。

文章图片
#大数据#数据挖掘#人工智能
大数据治理入门系列:元数据管理

介绍元数据管理之前,首先需要了解什么是元数据。

文章图片
#大数据#数据库#java
大数据治理入门系列:数据目录

在一文中,我们曾将数据比喻为一本本的书,将书的作者、出版时间等信息比喻为元数据。试想一下,假如你是一名新任的图书管理员,如何快速掌握图书馆的馆藏情况呢?假如你是一名读者,如何快速找到你需要的图书呢?想必你需要一份内容完整、结构清晰的图书清单。同样地,。这就是本文要介绍的数据目录(Data Catalog)。

文章图片
#大数据
    共 28 条
  • 1
  • 2
  • 3
  • 请选择