问题:MapReduce 作业失败 -- 线程“main”中的异常 java.io.IOException: java.net.ConnectException

我在 Hadoop 上运行一个简单的计数程序。我的输入文件大小为 4 GB。由于某种原因,这项工作不断失败并出现以下错误:

在此处输入图像描述

在此处输入图像描述

但是,如果我用一个小的输入文件(比如 100MB )尝试相同的代码,它工作得非常好。我是新手,我似乎找不到任何可行的解决方案。我的设置是伪分布式。

我需要进行任何配置更改吗?我已经按照 hadoop 文档提供的 Psuedo 分布式设置进行了标准配置。

任何帮助将不胜感激。

解答

从您发布的错误堆栈跟踪中,ConnectionRefused 异常适用于 JobHistoryServer。

对于伪分布式设置,无需更改配置即可启动JobHistoryServer。使用此命令启动它,

$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver
# rxjava # ubuntu # hadoop # mapreduce
Logo
CMS

更多推荐

我们从奥斯汀·金德那里学到的关于自己管理 1,300 (!!!) 网站的 5 个技巧

Anchor Hosting 创始人 Austin Ginder 对营销和销售的看法确实是独一无二的......而且也非常有效。作为一名独立开发人员和企业主,他自己管理着 1,300 多个 WordPress 网站。继续阅读,看看他是如何管理这一切的,以及他是如何从头开始创业的...... 1.收入不是唯一目标 “从项目过渡到服务对我和我想要追求的东西来说是有意义的。收入方面,从每个项目的基础到收

avatar CMS

从 WordPress 搜索结果中排除页面

如何从 WordPress 搜索结果中排除页面。默认情况下,您 WordPress 网站上的内部搜索将覆盖 WordPress 搜索结果中的所有帖子和页面。为了让您的网站用户更轻松地找到他们正在寻找的内容,您可能需要排除某些页面或帖子,这样它就不会再出现在这些结果中。 在本文中,您将学习如何从 WordPress 搜索结果中排除页面或帖子。让我们分开。 在这里,我们将看到两种不同的方法来做到这一

avatar CMS

最常见的 WordPress 错误

简介 WordPress 平台非常适合构建网站,但也容易出错。我们都会犯错。这在讨论 WordPress 时尤其准确,即使是最简单的任务对初学者来说也可能令人生畏。但是,只要有一点知识和一些有用的建议,您就可以避免常见的 WordPress 错误,这些错误经常会让人绊倒。 在这篇博文中,我们将探讨一些最常见的 WordPress 错误,并为您提供如何修复它们的建议。因此,请继续阅读以了解如何避免这

avatar CMS