文章目录1、Hive 表关联查询，如何解决数据倾斜的问题？2、请谈一下 Hive 的特点，Hive 和 RDBMS 有什么异同？3、请说明 hive 中 Sort By，Order By，Cluster By，Distrbute By各代表什么意思？4、Hive 有哪些方式保存元数据，各有哪些特点？5、Hive 内部表和外部表的区别？6、Hive 的 HSQL 转换为 MapReduce 的过程？

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。Metastore （hive元数据）Hive将元数据存储在数据库中，比如mysql 、derby。Hive中的元数据包括表的名称，表的列和分区及其属性，表的数据所在的目录。Hive数据存储在HDFS，大部分的查询...

一、依赖关系配置依赖关系原理概述三种依赖配置方式“自动解析”配置依赖关系：推荐使用手动配置依赖关系“自动推荐”配置依赖关系1.1 依赖关系原理概述可扩展性差，缺乏解耦重跑任务的成本太高输出名称每个节点（Task）输出点的名称。用于在单个租户（阿里云账号）内设置依赖关系时，连接上下游两个节点（Task）的虚拟实体。【原则】每个节点必须配置至少一个本节点输出名称、一个父节点输出名称每个输出点必须在同租

文章目录前言一、Tunnel 上传功能概述二、Tunnel 上传问题分类三、数据问题四、网络问题五、计费问题前言在阿里云大学学习了付帅师兄关于《MaxCompute Tunnel Upload 上传典型问题》的分享，将学习笔记做了整理如下：一、Tunnel 上传功能概述二、Tunnel 上传问题分类数据问题网络问题计费问题三、数据问题Q：使用Tunnel Java SDK上传数据，上传数据可以自动

文章目录一、初识 Flume二、安装 Flume三、简单案例实现(单节点实现)四、Flume Source1、netcat 源2、avro 源3、exec 源4、JMS 源5、Spooling Directory 源一、初识 FlumeFlume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统， Flume支持在日志系统中定制各类数据发送方，用于收集数据；..

数据中台的概念是最早由阿里巴巴首次提出，是为了应对内部众多业务部门千变万化的数据需求和高速时效性的要求而成长起来的，它既要满足业务部门日常性的多个业务前台的数据需求，又要满足像双十一，六一八这样的业务高峰、应对大规模数据的线性可扩展问题、应对复杂活动场景业务系统的解耦问题，而在技术、组织架构等方面采取的一些变革。

文章目录一、前言二、长尾的原因三、优化思路与解决方案3.1 Group By 长尾3.2 count distinct 长尾3.3 动态分区 长尾3.4 Join 长尾一、前言长尾问题是分布式计算里最常见的问题之一，也是典型的疑难杂症。究其原因，是因为数据分布不均，导致各个节点的工作量不同，整个任务就需要等最慢的节点完成才能完成。处理这类问题的思路就是把工作分给多个Worker去执行，而不是一个W

前言通过阅读本书，大家能建立自己的大数据开发知识体系和图谱，掌握数据开发的各种技术（包括有关概念 原理、架构以及实际的开发和优化技巧等），并能对实际项目中的数据开发提供指导和参考，个人觉得邦中老师的这本书还是有很精彩的，值得一读 ( •̀ ω •́ )✧接下来，我会从离线数据处理技术、实时数据处理技术、数据开发优化、大数据建模、数据分层体系建设等角度进行总结学习。第一篇：数据大图和数据平台大图数据

点击上方"云祁QI"关注,“星标”一起成长01 主数据定义与主数据项目先说说数据的层次模型，根据数据的特征、作用以及管理需求的不同，将数据分为6个层次，即：元数据、引用数据、企业结构数...