分布式计算平台Spark：基础入门20201216一、课程大数据组件分布式存储Zookeeper：利用分布式存储系统实现小的核心数据的存储（加紧复习）抓紧复习HDFS：离线大数据文件系统数据存储（加紧复习）抓紧复习为了解决大数据存储问题：分布式磁盘Hive：离线数据仓库【表】为了解决统一化和规范化数据管理问题Redis：实时内存式NOSQL数据库【所有数据都在内存中】为了解决数据高并发和高性能读写

数据仓库之ETLETL,是英文Extract-Transform-Load的缩写，用来描述将数据从源端经过**抽取（extract）、转换（transform）、加载（load）**至目的端的过程。ETL是将业务系统的数据经过抽取、清洗、转换之后加载到数据仓库的过程，目的是将企业中散乱、零乱、标准不同意的数据整个在一起。​ETL是数据仓库的流水线，也可以认为是数据仓库的血液，它维系着数据仓库中数据

oracle 中数字到字符串之FM格式化select to_char(0.56,'FM999,999,990.00') fromdual;-- 9是代表有多少宽度，如果格子定义不足会显示成######,如果定义多了会用空格代替-- 0代表强制显示0，但是不会改变你的结果个位格子定义为0，预防转换的时候将0.56转换为.56-- FM代表如果是因为9带来的空格则删除select to_char(0.

ORACLE存储过程转化为HQL平台时，可能会出现各种问题。ORACLE与HIVE都使用SQL语句，但是语法和特性不尽相同，注意一下几种情况。一.INSERT语句ORACLE：EXECUTE IMMEDIATE 'TRUNCATE TABLE TABLE_A';INSERT /*+APPEND*/ INTO A NOLOGGING (COL_1,COL_2,COL_3,)迁移至HIVE语句为：IN

hive的数据存储格式​Hive支持的存储的格式主要有：TEXTFILE(行式存储)、SEQUENCEFILE(行式存储)、ORC(列式存储)、PARQUET(列式存储)。1.1. 列式存储和行式存储[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kD7DATTZ-1649748470312)(C:\Users\MSI-NB\AppData\Roaming\Typor

大数据之调度系统-Azkaban数据仓库与Python大数据 5天前以下文章来源于大数据与人工智能 ，作者HappyMint01常用的调度框架及其对比常用的调度平台框架有Oozie、Airflow、Zeus、DolphinScheduler、Azkaban 等。几种调度系统简单对比：Oozie 目前是托管在 Apache 基金会的，开源。通过 XML 文件来定义 DAG依赖，作业配置复杂。Airf

数据仓库分层架构​按照数据流入流出的过程，数据仓库的架构可分为三层–源数据、数据仓库、数据应用。数据仓库的数据来源于不同的源数据，并提供多样的数据应用，数据自下而上流入数据仓库后向上层快放应用，而数据仓库只是中间集成化数据管理的一个平台。**数据源层（ODS）????*操作型数据（Operational Data Store）,是作为数据库到数据仓库的一种过渡，ODS的数据结构一般与数据来源保持一

马拉松爱好者

https://www.keybr.com/[点击](https://www.keybr.com/)

Mysql数据库1.登录MySQL数据库方式1：mysql -u用户名 -p密码mysql -u用户名 -p 回车输入密码方式2：mysql --host=ip地址 --user=用户名 --password=密码2、MySQL图形化开发工具-DataGripDataGrip连接Mysql[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TZiNRdUw-1614873