logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

0到1搭建企业级数据治理体系

数据治理是一个长期工作,需要相关从业者根据企业的数据现状和管理模式去构建和调整,建议边做实践边总结归纳,小步慢跑是一个很好的方式。数据治理是个长期过程,会跟随着企业数据的规模和数仓规划的变更同步调整,部分功能可能会在短期内卓有成效,完整体系搭建短期很难实现。你的数据有没有被合理利用?长效机制,规范数据管控流程,提升数据质量,促进数据标准一致,保障数据共享与使用安全,从而提高企业运营效率和管理水平。

#大数据
数据治理|数据安全工具建设分享

基于权限模型设计的权限产品DEMO,核心思路来源于ABAC模型的改良,我命名为TRFAC模型,即基于“对象-资源-条件-行为”的权限控制,描述了“XX对象(人/应用/组织/角色等)对 XX资源(页面/菜单/按钮/数据等)在 XX条件/因素(城市=北京等)下拥有 XX行为类型(增删改查等)的权限”。测试系统,创建测试账号,用于系统测试。身份认证包含账号和认证两个部分,其中账号就是管控对象的身份,比如

文章图片
#大数据
数据仓库基础知识

DWD层:明细数据层(Data Warehouse Detail),一般和ODS层一样,但是会采用维度退化的方法,将维度退化至事实表中,减少事实表格和维度表格的关联,提高表格的易用性。ODS层:操作数据层(Operational Data Store),基本上是数据的源头,我们在这一层只做简单的数据清洗,不做业务逻辑处理,存储所有我们能够存储且需要存储的数据。二是数据中的配置属性数据,如在某表格的

文章图片
#spark#大数据#分布式
浅谈我所见识的数据治理项目

很难有精力去考虑或沉下心规划更高、更深层次的东西,诸如:数据管理战略、数据管理框架、数据管理文化、数据管理组织、数据生命周期,及元数据管理、主数据管理、参考数据管理、数据安全管理等……知识体系的都知道,万变不离其宗,基本市面上绝大多数与数据治理相关的产品都是基于其知识体系所构思和设计研发的,但是。下游用数需求无法很好的确认,有的需求变更或新增需求的提出,现有数据无法满足,需要从多方源头重新找数。,

#大数据
详解数据仓库数据湖及湖仓一体

性能、成本方面极大提升(MaxCompute 完成了核心引擎的全面升级和性能跳跃式发展,连续三年刷新 TPCx-BigBench 世界记录),数据管理能力空前增强(数据中台建模理论、智能数仓),企业级安全能力大为繁荣(同时支持基于 ACL 和基于规则等多种授权模型,列级别细粒度授权,可信计算,存储加密,数据脱敏等),在联邦计算方面也普遍做了增强,一定程度上开始将非数仓自身存储的数据纳入管理,和数据

#大数据
银行数据治理:数据质量管理实践

元数据管理是元数据的定义、收集、管理和发布的方法、工具及流程的集合,通过完成对相关业务元数据及技术元数据的集成及应用,提供数据路径、数据归属信息,并对业务术语、文档进行集中管理,借助变更报告、影响分析以及业务术语管理等应用, 以此保证数据的完整性、控制数据质量、减少业务术语歧义和建立业务人员之间、技术人员之间,以及双方的沟通平台。三是数据使用环节是数据质量问题频繁暴露的另一个环节,主要是因为对数据

文章图片
#java#数据库#开发语言
数据治理:元数据及元数据管理策略、方法和技术

元模型管理即基于元数据平台构建符合CWM规范的元数据仓库,实现元模型统一、集中化管理,提供元模型的查询、增加、修改、删除、元数据关系管理、权限设置等功能,支持概念模型、逻辑模型、物理模型的采集和管理,让用户直观地了解已有元模型的分类、统计、使用情况、变更追溯,以及每个元模型的生命周期管理。数字化时代,企业需要知道它们有什么数据,数据在哪里、由谁负责,数据中的值意味着什么,数据的生命周期是什么,哪些

文章图片
#java#开发语言
数据治理平台

支持定制统一的数据标准平台,包括字段标准管理,码值标准管理以及字典管理,业务源数据和中台数据统一标准。数据治理平台作为数据治理的产品体系,旨在保障数据平台的数据是安全、可靠的、标准的、有价值的。:统一定制数据标准,提高包括字段、码值、数据字典管理,保障业务数据和中台数据的统一标准。:提供事前、事中、事后的数据质量体系,支持数据质量监控规则配置、告警管理等功能。:提供面向用户的场景化搜素,提供全景数

文章图片
#大数据#人工智能#运维
数据治理组织架构

科技开发:承担治理平台、数据标准、数据质量等实施工作;数据治理专家作为数据治理组成员,负责设计数据架构,运营数据资产;执行各项目的落地实施和运营推广,推动执行层的实施数据治理技术落地和项目进展。开发部门的专家,承担数据标准落地、模型落地的重任,协助解决数据质量问题。一般在数据治理建设初期,集团会先成立数据治理管理委员会。业务部门:负责业务线数据标准的制定、修改、复审,推广落实数据标准等。数据架构师

文章图片
#大数据
数据治理|数据安全工具建设分享

图8是基于权限模型设计的权限产品DEMO,核心思路来源于ABAC模型的改良,我命名为TRFAC模型,即基于“对象-资源-条件-行为”的权限控制,描述了“XX对象(人/应用/组织/角色等)对 XX资源(页面/菜单/按钮/数据等)在 XX条件/因素(城市=北京等)下拥有 XX行为类型(增删改查等)的权限”。测试系统,创建测试账号,用于系统测试。身份认证包含账号和认证两个部分,如图4,其中账号就是管控对

#数据仓库#数据库#大数据
    共 19 条
  • 1
  • 2
  • 请选择