logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

基于K8S的hadoop集群初探

基于k8s的hadoop集群部署,难点在于各个组件的master和node通过hosts进行通信,阅读其他技术文章,有如下两种思路:1、固定每个pod的ip和hosts,然后通过公司的dns做一个解析,这样只要在配置文件里配置好各组件的地址、hosts的文件,启动方式和宿主机一样;2、通过zookeeper或etcd的一些服务发现组件,在各服务节点启动时进行注册、并更新本地hosts文件。

#hadoop#spark#hdfs
到底了