起源

公元XXX年，新上线的mapreduce任务在线上执行时遇到问题，主要报错如下：

A HostProvider may not be empty，

根据报错信息，定位到如下代码：

org.apache.zookeeper.client.StaticHostProvider#StaticHostProvider，截图如下：

image2020-3-4_10-14-45.png?version=1&modificationDate=1583288087281&api=v2uploading.4e448015.gif转存失败重新上传取消

经过判断，发现是zkClient最终解析到的ip地址列表为空导致的问题，但是zkClient为什么解析不了zk地址呢，带着疑惑，点开了java.net.InetAddress#getAllByName(java.lang.String)方法，签名如下：

image2020-3-4_10-17-24.png?version=1&modificationDate=1583288246599&api=v2uploading.4e448015.gif转存失败重新上传取消

映入眼帘的第一个就是该方法可能抛出UnknownHostException异常，看到这里，笔者心中已经有了个大概的推断，跟同事拿到最终执行的Jar包以及执行的命令，再次进行分析。

 

为了区分线上环境和测试环境，在启动任务时带上了spring配置文件的路径，-Dspring.xxxx=xxxx , 并且配置文件中会指定zk的链接地址，如下

image2020-3-4_10-25-15.png?version=1&modificationDate=1583288717469&api=v2uploading.4e448015.gif转存失败重新上传取消

线上的配置文件格式相同，地址不同。

hadoop属于典型的单线程多进程应用，为了让应用能在多台机器上运行，hadoop会进行jar包的分发，但是不会将配置文件一并分发过去。

Main方法只会执行一次，mapper 以及reduce分别属于不同的进程，无法获取main方法的配置

 

 

 

 

image2020-3-4_10-34-20.png?version=1&modificationDate=1583289262641&api=v2uploading.4e448015.gif转存失败重新上传取消

终结

 

未来

 

 

 

 

 

 

 

Logo
向您推荐>>Eolink开发者社区

权威｜前沿｜技术｜干货｜国内首个API全生命周期开发者社区

更多推荐

沃云统一开发平台介绍

沃云集成平台研发平台介绍1.平台优势2.平台原理3.研发平台使用方法4.遇到的问题5.现阶段实现的功能6.后续需要补充的功能和优化内容研发平台介绍1.平台优势解决孤岛式应用，实现能力共享；现有系统框架过于复杂，跨系统业务处理成本居高不下，协同服务共享，降低运维成本；提高项目应用资源监控能力，改善资源利用率；业务微服务化，快速发布、快速部署，快速响应业务需求变化；沃云平台不仅提供了自动化的、可快速部

avatar 云原生

(20200916 Solved)docker-compose up创建容器自动退出

问题描述如题，创建容器后自动退出了。并且docker start container无效解决方案原因是缺失了控制终端的配置，需要在docker-compose.yml中增加tty:true ，有时候这样也不行，需要再增加一个command:/bin/bash，命令不一定是这个，需要是一个不会退出的命令，然后用-d后台启动容器。Referencesdocker-compose启动容器后自动退出...

avatar 云原生

基于docker的test-containers环境百宝箱

笔者语录： 我开了个公众号【Java你我他】，欢迎大家关注。  在很多时候，程序猿们更关注代码本身，而不愿意把时间花费在环境搭建上，这也是Docker变得越来越受欢迎的原因之一。test-containe是Docker生态圈中的一颗新星，其 主要针对测试领域、背靠Docker实现环境百宝箱功能。  test-containers： 你要的环境，我都有~  假设我们现在需要一个redis-clust

avatar 云原生