logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

微信开放平台,公众号第三方平台接入

微信开放平台和公众平台的区别开放平台是网站或app使用的接口平台,利用开放平台可在自己的网站或app上开发微信帐户登录、微信分享等功能!公众平台是微信号的一种,也具有开发功能,是在公众号中开发出更多功能,例如微网站等!简单来讲,公众平台的开发功能是在微信平台的基础上的,而开放平台是在你自己的平台上开发的与微信相关的一些功能进行第三方开发之前最好拥有 微信公众平台 的开发经验,因为...

vscode 设置tab转空格并设置数量

1.在状态栏点击  ---》空格:2.根据自己情况选择   3.这下格式化下代码试试  试试很爽  在设置成保存时格式化更爽

九、数据仓库详细介绍(元数据)

元数据(Meta-data)是描述数据的数据(The data about data),更准确点应该叫 The information abut data。如何理解这句话?就是描述信息、实体、系统的数据。举几个例子175,大家有概念吗?如果我说这是一个男孩儿的身高大家是不是就懂了。如果我再加一个他才 14 岁信息量是不是更大了?因此:数据+元数据(描述数据的数据)=信息。遥控器,上边一堆按键如果没

文章图片
#数据仓库#数据库#数据挖掘
数据仓库漫谈-前世今生

上世纪 90 年代(大概 1993-1995 年之间吧),沃尔玛尝试将 Aprior 算法引入到 POS 机数据分析中(实际上是一种商品的关联分析算法),当时发现跟尿布一起购买最多的商品竟然是啤酒,最后经过进一步市场调研发现,美国的太太们经常叮嘱她们的丈夫下班后为小孩买尿布,而丈夫在买完尿布后又随手带回了他们喜欢的啤酒。但随着数据集市的不断增多,这种架构的缺陷也逐渐显现:公司内部独立建设的数据集市

文章图片
#数据仓库#数据库
十、数据仓库详细介绍(数据质量)流程与工具

做为数据人必须对数据质量保持足够的重视。数据质量管理是通过划分数据资产等级和分析元数据的应用链路,对不同资产等级的数据采取相对应的质量管理方式。数据质量管理流程图如下:原文内容可以翻阅阿里巴巴大数据之路,第 15 章数据质量部分。也可以查看阿里云文档:https://help.aliyun.com/document_detail/114560.html包含两部分内容:数据资产等级的定义根据资产等级

文章图片
#数据仓库#大数据#人工智能
oracle监听命令响应慢,无法启动 ,ORA-12541

一般在路径:$ORACLE_HOME\diag\tnslsnr\机器名\listener\trace\listener.org。修改文件名或者删除 启动监听就可以了。后来发现监听日志过大了。

文章图片
#oracle#数据库
五、数据仓库详细介绍(建模)实践篇

到这里,由于数仓模型设计的复杂性,我们需要多人合作共同完成建模工作,这时候架构师或者建模师可以结合之前分层分域的成果,按层按域将模型设计任务进行拆解后分发给不同的人完成。DW 层,数据仓库的核心存储层,这一层数仓建模的核心,相对标准的思路是我们在明细层采用范式建模的思路自顶向下设计把 ODS 层的数据完整的整合进来,打破孤岛(ID 映射)、消除冗余,再往上层可以采用维度建模的思路,基于 DWD 层

文章图片
#数据仓库#数据挖掘#数据库
六、数据仓库详细介绍(ETL)工具篇上

Datastage 操作界面对元数据的支持:Datastage 是自己管理 Metadata,不依赖任何数据库。参数控制:Datastage 可以对每个 job 设定参数,并且可以 job 内部引用这个参数名。数据质量:Datastage 有配套用的 ProfileStage 和 QualityStage 保证数据质量。定制开发:提供抽取、转换插件的定制,Datastage 内嵌一种类 BASIC

文章图片
#数据仓库#etl#数据库
十一、数据仓库详细介绍(应用)

数据仓库是一种数据管理的方法论,理论概念很早就提出来了,而且各个行业都有广泛深入的应用。因此到目前为止该方法论的理论和实践体系已经非常完善了。深入了解过数仓而且有一定实践经验的人,应该能够在数据中台、数据治理、数据资产管理、数据中心,以及 DAMA、DCMM 等知识体系中,看到许许多多的数据仓库的知识。

文章图片
#数据仓库#数据挖掘#大数据
六、数据仓库详细介绍(ETL)工具篇下

上篇,我们介绍了五种传统 ETL 工具和八种数据同步集成工具。数据仓库详细介绍(五.ETL)工具篇上本篇,我们接着介绍两种新型 ETL 工具、大数据发展不同阶段产生的六种主要计算引擎、五种流程控制组件。最后我们简单讨论两个话题:这么多组件我们该如何抉择?如何快速将工具引入生产实践?0x01 新型 ETL 工具MapReduce 将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两个函数:Ma

文章图片
#数据仓库#etl#低代码
    共 17 条
  • 1
  • 2
  • 请选择