1、关闭服务master:[hs@master ~]$ cd $HBASE_HOME[hs@master hbase-1.0.3]$ bin/stop-hbase.shmaster and slave:[hs@master hbase-1.0.3]$ cd $ZOOKEEKER_HOME[hs@master zookeeper-3.4.6]$ bin/zkServe

第一个故事，搜狗热词里的商机　　王建锋是某综合类网站的编辑，基于访问量的考核是这个编辑每天都要面对的事情。但在每年的评比中，他都号称是PV王。原来他的秘密就是只做热点新闻。王建锋养成了看百度搜索风云榜和搜狗热搜榜的习惯，所以，他会优先挑选热情榜上的新闻事件来编辑整理，关注的人自然多。　　点评：搜狗拥有输入法，搜索引擎，那些在输入法和搜索引擎上反复出现的热词，就是搜狗热搜

如果确认已经在脚本中用了绝对路径，这就可能是crontab的环境变量和自己运行时的环境变量不同导致。所以，在shell脚本中加入1)source /etc/profile2)然后用locate /bin/hive找出对应一个hive的位置，当然由于向下兼容，当然找的是最新版本的hive的位置，将原本的hive命令改成绝对路径简而言之，就是所有能用到绝对路径的地方都使用绝对路

1、hadoop1.0时期架构2、hadoop2.0时期架构3、hdfs架构Active Namenode主 Master（只有一个），管理 HDFS 的名称空间，管理数据块映射信息；配置副本策略；处理客户端读写请求Secondary NameNodeNameNode 的热备；定期合并 fsimage 和 fsedits，推送给 NameNode；当 Activ

1、环境说明生产系统数据库是阿里云mysql型rds数据库，目标数据仓库也是阿里云mysql型rds数据库。由于数据高效抽取的需要，生产系统表字段timeline定义为记录新增或更新的时间戳，并且此字段需要添加索引。2、存储数据抽取时间的表CREATE TABLE `real_time_maintenance` (`id` int(11) DEFAULT NULL,

1、解决参考一Press enter for maintenance(or type Control-D to continue):/dev/sda3 contains a file system with errors, check forced./dev/sda3: Inodes that were part of a corrupted orphan linked list

定期统计数仓表此表及其下游表，近60天的外部访问次数（外部访问指的是非数仓任务使用次数的外部使用，如即席查询，报表查询，接口查询），同样的，和使用方沟通后，无用则归档。每家公司的数据情况和痛点不一样，所以应该根据实际情况，针对痛点去优先治理，而不是死板的按照某本书或某篇文章的治理计划死板的进行。包括数仓中基础的库表信息（表名，表备注，表字段，表的存储空间等），以及任务信息（调度计划、运行耗时、内存

转自：数据库、数据湖、数据仓库、湖仓一体、智能湖仓，分别都是什么鬼 (baidu.com)最近被大数据相关的小词儿，整的有点懵。索性我们就来个专题，聊透数据库、数据仓库、数据湖以及风头正劲的“Lake house”——湖仓一体化。1、数据仓库是个啥？和数据库有什么不同？数据库的基本概念，大家应该都不陌生。如今但凡是个业务系统，都或多或少需要用到数据库。即便我们不直接跟数据库打交道，它们也在背后默默

一、记录类数据1、事务数据事务是数据库处理数据的一个单元，可以理解为一次数据库CRUD的操作。事务数据就是记录下数据库操作的系统日志数据，以及特定业务场景中，专门记录的业务操作事务记录的数据，比如用于安全审计的系统登录日志。2、业务数据业务数据就是为了完成业务流程而存储的业务操作类数据。就是业务系统的绝大多数表和数据。3、日志数据早期的日志数据是属于事务数据中的。现在大数据时代，用户访问数据变得越

1、Sysdate当前日期和时间SQL> Select sysdate from dual;2、Last_day()时间所在月的最后一天SQL> Select last_day(sysdate) from dual;3、Add_months(d,n)当前日期d后推n个月 用于从一个日期值增加或减少一些月份 date_value:=add_months(date_value,number