问题:Amazon EMR Application Master Web UI?

我已经开始使用 Hadoop YARN (AMI 3.3.1) 在 Amazon EMR 上运行 PIG 作业,但是由于 Yarn 中不再有作业跟踪器,我似乎无法找到 Web UI 以便我可以跟踪数字对于 MapReduce 作业的 Mappers 和 Reducers,当我尝试访问资源管理器 UI 页面中提供的 Application Master 链接时,我被告知该页面不存在(下图提供)。

有谁知道我如何通过我的网络浏览器访问 UI,它会根据映射器、reducer 的数量和每个完成的百分比等向我显示当前的工作状态?

谢谢

解答

从 ResourceManager 网页单击 ApplicationMaster 链接后,您将被重定向到 ApplicationMaster web ui;因为 EMR 使用 EC2 实例,每个 EC2 实例都有 2 个与之关联的 IP 地址,一个用于私有通信,另一个用于公共通信。 EMR 使用私有 IP 地址(私有 DNS)来设置 hadoop,因此,您将被重定向到这样的 url:

http://10.204.137.136:9046/proxy/application_1423027388806_0003/

您可以看到它指向实例的私有 IP 地址,因此您的浏览器无法解析该 IP 地址,您只需将私有 IP 地址替换为该实例的公共 IP 地址(或公共 DNS 名称):

获取实例公网ip

1.使用EC2网页界面

您可以登录 AWS EC2 控制台并找到实例 IP 地址

2. 使用控制台:

如果您已登录实例并想知道它的公共 IP 地址,请发出以下命令,该命令将为您返回该实例的公共 IP 地址。

卷曲 http://169.254.169.254/latest/meta-data/public-ipv4

还可以查看这个AWS 文档页面,了解如何查看 Web 界面,它提供了其他选项,例如设置 SSH 隧道和使用 SOCKS 代理。