logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

数据仓库、数据湖、湖仓一体,有什么区别?

其次,存储到数据湖中的数据通常会按照原始形态直接存储,随着业务和使用场景的发展,会使用不同的计算 存储的数据进行分析与处理,数据湖中的数据在一个企业组织中通常会被多个不同应用、系统和部门使覆盖的场景广泛并且范围也会动态延展,因此需要提供更多的灵活性以适应快速变化的应用场景;数据湖对存取的数据没有格式类型的限制,数据产生后,可以按照数据的原始内容和属性,直接存储到数据湖, 无需在数据上传之前对数据进

#数据仓库
数据治理 | 质检监控中心

除了质量之外,一些核心报表资产,由于面向用户的级别较高,业务关注度较广,对产出的及时性要求较高,而如果这类报表上游较复杂,往往会出现上游一个任务节点重启超时,甚至重启失败,造成整个下游任务挂起,最终报表产出严重超时,在业务侧引发事故,此时,我们就需要第一时间感知到各个任务节点的产出结果、作业执行情况等数据,有问题第一时间报警处理,SLA便能解决这类问题。质量监控:面向具体数据资产,通过配置定时调度

文章图片
#大数据#人工智能
如何搭建一个数据仓库

为了便于落地,我根据自己的经验,总结出上面的七个步骤:梳理业务流程、垂直切分、指标体系梳理、实体关系调研、维度梳理、数仓分层以及物理模型建立。依托数仓分层的设计理论,根据实际业务场景,我们就可以梳理出整体的数据流向图。这张图会很清晰的告诉所有人,数据从那来,到哪里去,最终提供什么样的服务。如果分析出这个业务过程应该有这个指标,但是没有数据,请标注出来,提出收集数据的需求。越到底层,越接近业务发生的

文章图片
#数据仓库#数据挖掘#人工智能
数据治理评估

俗话说工欲善其事必先利其器,有好的工具当然是更好,前提是已经有了成熟的数据治理体系规划和策略。数据治理是一个长期工作,需要相关从业者根据企业的数据现状和管理模式去构建和调整,建议边做实践边总结归纳,小步慢跑是一个很好的方式。数据治理是个长期过程,会跟随着企业数据的规模和数仓规划的变更同步调整,部分功能可能会在短期内卓有成效,完整体系搭建短期很难实现。新旧数据标准沉淀,打通了数据建模工具、数据标准库

文章图片
#人工智能#大数据#物联网
数据治理之数据资产管理

数据资产管理实践白皮书4.0》中对数据资产管理的定义为:规划、控制和提供数据及信息资产的一组业务职能,包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序,从而控制、保护、交付和提高数据资产的价值。本文沿用的中国信通院对数据资产管理的定义是:规划、控制和提供数据及信息资产的一组业务职能,包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序,从而控制、保护、交付和

文章图片
#大数据#人工智能
数据底座的数据治理

聚焦“战略指导、组织机制、专项能力、技术支撑”四层建设,为企业数字化转型提供稳定数据保障基础。1.统一的数据管控平台数据管控管控服务,集成数据标准、数据质量、数据安全等全方位数据治理能力。主要能力:数据标准:数据标准编目、录入、发布、贯标、落标全方位能力提供。落标检查:通过贯标流程,执行标准落标检查,赋能数据标准落地,实现贯标成果。数据质量:以SQL形式灵活构建数据质量检查规则,高效检测数据质量缺

文章图片
#大数据#人工智能#数据库
数据安全治理实施过程中注意事项

资产梳理对数据安全治理尤为重要,需要清除哪些数据要防护、数据如何流转、端到端对象都有谁、数据跑的有什么内容、现今数据载体有什么安全隐患等等问题,资产梳理不到位,难以进行后期的体系建设。数据安全治理是一个持续性过程,上到管理体系,下至技术工具,都需进行持续性完善,如治理过程缺乏持续性,则无法形成运维监控、定向审计、问题处置与体系加固等一套有效的运转机制。行业合规性要求较多,会随着时间推移发生变动,合

#大数据
数据安全治理体系建设

制度指定、技术迭代、安全检查与事件处理、安全审计等。其它:包括第方厂家或者外包的职责制度。明确数据访问人员、数据生产人员、数据维护人员等目标对象,以数据流转为基础,对相关人员进行串联,形成动态协同。数据加密、数据脱敏、数据库防火墙、数据防泄漏、统一策略管理、容灾备份等。人员角色可分为:业务人员、审计人员、运维人员、安全人员、管理人员等。数据泄密、数据审计、数据安全基线管理、UEBA、数据态势感知等

文章图片
#数据库
详解非结构化数据治理

ECM 企业内容管理是一种专注于非结构化数据领域的软件类型, 其涵盖了企业网盘、文档管理、知识管理、文件安全交换、工程协同设计、文件安全外发、档案管理、影像文件管理、电子文档安全管理、文档云、ISO 质量文件体系管理、GMP 质量文件体系管理、非结构化数据管理平台、工程内容管理等应用软件,以及基于 AI 智能和 Graph 知识图谱技术的智能推荐、智能搜索、智能定密、智能安全分析等内容智能应用。这

文章图片
#数据库
数据安全治理实施步骤

通过梳理与评估,摸清组织数据安全现状,结合业务实际情况,补全能力,从而构建全面的数据安全防护能力,实现数据可见、流转可知、风险可识、数据安全状态可管、风险趋势可控的。基于组织数据安全现状,准确定义数据安全管理内容和数据分类分级,明确工作职责和工作要求,完善数据安全管理制度和流程,使数据安全工作有据可依,责任落实到人。将数据脱敏、数字水印、数据防泄漏、数据加密、数据销毁、数据安全风险监测预警等数据安

文章图片
#大数据
    共 25 条
  • 1
  • 2
  • 3
  • 请选择