问题:HADOOP / YARN - ResourceManager 和 hdfs NameNode 是否始终安装在同一主机上?

“资源管理器”和“hdfs namenode”总是安装在同一台主机上吗?

1)当我想向发送一个 http 请求(YARN REST API)时,获取新的应用程序 id我正在使用这个 web uri:

http://<rm http address:port>/ws/v1/cluster/apps/new-application

此端口为 Resource-Manager Web UI http 端口,默认值为 8088,如 img1 所示:source for img1

2)当我想为 hdfs 命令发送 http 请求(WebHDFS REST API)时,例如到获取文件状态我正在使用这个 web uri:

http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=GETFILESTATUS

这个<PORT>是 NameNode WebUI http 端口,默认值为 50070,如 img2 所示:source for img2

这些组件(ResourceManager 和 NaneNode)的主机是否始终安装在同一主机上?

任何帮助将不胜感激,谢谢!

解答

没有必要在单台机器上运行resourceManager和nameNode,我们在单节点/小集群工作时有这样的配置---节点很少---配置。当集群较大时,master节点通常会在不同的机器上运行resourceManager、nameNode和secondaryNamenode。

看看这些链接:

Hadoop 集群中的主节点

HortonWorks:典型的 Hadoop 集群