图文详解 Hive 的工作原理
前言本文隶属于专栏《1000个问题搞定大数据技术体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系正文Hive 建立在 Hadoop 之上,那么它和 Hadoop 之间是如何工作的呢?接下来,通过一张图来描述,具体如图所示。接下来,针对图中 Hive 和 Hadoop 之间的工作过程进行简单说明,具体如下。
·
前言
本文隶属于专栏《1000个问题搞定大数据技术体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!
本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系
正文
Hive 建立在 Hadoop 之上,那么它和 Hadoop 之间是如何工作的呢?
接下来,通过一张图来描述,具体如图所示。
接下来,针对图中 Hive 和 Hadoop 之间的工作过程进行简单说明,具体如下。
- UI 将执行的査询操作发送给 Driver 执行。
- Driver 借助查询编译器解析查询,检查语法和查询计划或查询需求
- 编译器将元数据请求发送到 Metastore
- 编译器将元数据作为对编译器的响应发送出去
- 编译器检査需求并将计划重新发送给 Driver 。
至此,查询的解析和编译已经完成。
- Driver 将执行计划发送给执行引擎执行 Job 任务
- 执行引擎从 DataNode 上获取结果集,并将结果发送给 UI 和 Driver 。
更多推荐
已为社区贡献4条内容
所有评论(0)