前言

本文隶属于专栏《1000个问题搞定大数据技术体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!

本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系

正文

Hive 建立在 Hadoop 之上,那么它和 Hadoop 之间是如何工作的呢?

接下来,通过一张图来描述,具体如图所示。

在这里插入图片描述

接下来,针对图中 Hive 和 Hadoop 之间的工作过程进行简单说明,具体如下。

  1. UI 将执行的査询操作发送给 Driver 执行。
  2. Driver 借助查询编译器解析查询,检查语法和查询计划或查询需求
  3. 编译器将元数据请求发送到 Metastore
  4. 编译器将元数据作为对编译器的响应发送出去
  5. 编译器检査需求并将计划重新发送给 Driver 。

至此,查询的解析和编译已经完成。

  1. Driver 将执行计划发送给执行引擎执行 Job 任务
  2. 执行引擎从 DataNode 上获取结果集,并将结果发送给 UI 和 Driver 。
Logo

大数据从业者之家,一起探索大数据的无限可能!

更多推荐