logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

八、数据仓库详细介绍(监控告警)

在前边的章节,我们设计完存储模型,开发了 ETL 任务,并且配置好流程依赖,然后上调度系统,至此我们的数据仓库基本搭建完成,而且所有流程任务都可以自动化运转了。随着公司上线的数据处理任务越来越多,我们可以安排专门的运维人员定时监控任务执行情况,定时去检查终端应用,尽最大可能的发现问题(比如源数据迟到、数据量突增、异常数据或者开发考虑不周、有人修改代码且测试不充分、服务器异常、调度宕机等等),并且赶

文章图片
#数据仓库#数据库
Quartz通过配置来优化并发能力

先上官网地址:http://www.quartz-scheduler.org/documentation/quartz-2.1.x/configuration/Quartz 在线上出现并发瓶颈问题,造成延时触发或者不触发,可以通过他的配置文件 quartz.properties 文件来优化Quartz-Job的quartz.properties配置文件说明,此文件在quartz的jar包有...

PLSQL常用快捷键及使用技巧

1、类SQL PLUS窗口:File->New->Command Window,这个类似于oracle的客户端工具sql plus,但比它好用多了。2、设置关键字自动大写:Tools->Preferences->Editor,将Keyword case选择Uppercase。这样在窗口中输入sql语句时,关键字会自动大写,而其它都是小写。这样阅读代码比较容易,且保持良好得编

文章图片
#sql#数据库#oracle
非常全的VsCode快捷键

按 Press功能 FunctionCtrl + Shift + P,F1显示命令面板 Show Command PaletteCtrl + P快速打开 Quick OpenCtrl + Shift + N新窗口/实例 New window/instanceCtrl + Shift + W

#javascript#vscode
sqlServer 数据库移库(遇到大数据量时)

方法一:脚本法如果你的数据库每天都有更新,而且今天改动量不大,可以将你所有的改动弄成脚本,放到本地数据库执行即可。就行一般公司开发写数据库发布脚本一样。方法二:备份与还原法在服务器的数据库中选中要转移的数据库,按鼠标右键,选所有任务->备份数据库;将备份copy到本地,选中本地已有的数据库(没有需要新建)右键→任务→还原数据库。找到你copy下来的....

微信开放平台,公众号第三方平台接入

微信开放平台和公众平台的区别开放平台是网站或app使用的接口平台,利用开放平台可在自己的网站或app上开发微信帐户登录、微信分享等功能!公众平台是微信号的一种,也具有开发功能,是在公众号中开发出更多功能,例如微网站等!简单来讲,公众平台的开发功能是在微信平台的基础上的,而开放平台是在你自己的平台上开发的与微信相关的一些功能进行第三方开发之前最好拥有 微信公众平台 的开发经验,因为...

vscode 设置tab转空格并设置数量

1.在状态栏点击  ---》空格:2.根据自己情况选择   3.这下格式化下代码试试  试试很爽  在设置成保存时格式化更爽

九、数据仓库详细介绍(元数据)

元数据(Meta-data)是描述数据的数据(The data about data),更准确点应该叫 The information abut data。如何理解这句话?就是描述信息、实体、系统的数据。举几个例子175,大家有概念吗?如果我说这是一个男孩儿的身高大家是不是就懂了。如果我再加一个他才 14 岁信息量是不是更大了?因此:数据+元数据(描述数据的数据)=信息。遥控器,上边一堆按键如果没

文章图片
#数据仓库#数据库#数据挖掘
数据仓库漫谈-前世今生

上世纪 90 年代(大概 1993-1995 年之间吧),沃尔玛尝试将 Aprior 算法引入到 POS 机数据分析中(实际上是一种商品的关联分析算法),当时发现跟尿布一起购买最多的商品竟然是啤酒,最后经过进一步市场调研发现,美国的太太们经常叮嘱她们的丈夫下班后为小孩买尿布,而丈夫在买完尿布后又随手带回了他们喜欢的啤酒。但随着数据集市的不断增多,这种架构的缺陷也逐渐显现:公司内部独立建设的数据集市

文章图片
#数据仓库#数据库
十、数据仓库详细介绍(数据质量)流程与工具

做为数据人必须对数据质量保持足够的重视。数据质量管理是通过划分数据资产等级和分析元数据的应用链路,对不同资产等级的数据采取相对应的质量管理方式。数据质量管理流程图如下:原文内容可以翻阅阿里巴巴大数据之路,第 15 章数据质量部分。也可以查看阿里云文档:https://help.aliyun.com/document_detail/114560.html包含两部分内容:数据资产等级的定义根据资产等级

文章图片
#数据仓库#大数据#人工智能
    共 22 条
  • 1
  • 2
  • 3
  • 请选择