
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
presto(trino)国产化、专用涉密操作系统适配。支持hive2、hive3,支持hadoop2和hadoop3。修改源码,调整so文件加载机制。

一、SecondaryNameNode概念:光从字面上来理解,SecondaryNameNode(snn)就是NameNode(nn)的热备进程。其实不是,ssn是HDFS架构中的一个组成部分,它真正的用途,是用来保存namenode中对HDFS metadata信息的备份,并减少namenode重启的时间。hadoop的默认配置中让snn进程默认运行在了namenode的那台机器上,如果这台机器
问题描述调用stop-dfs.sh脚本,提示无法找到namenode和datanode服务,但在各个服务节点上namenode和datanode正常运行,并且webdfs服务可以正常运行。原因分析hadoop脚本将各个服务运行的进程号pid存在了临时目录/tmp下,而centos系统会对/tmp临时目录下长时间不用的文件的进行清理。由于集群管理员长时间没有管理集群服务(重启等),导致/tmp中进行
参考:《深入浅出:Hadoop的start-balancer.sh与hdfs balancer分布式数据均衡》https://yq.aliyun.com/articles/719679
c) 注意:不同的操作系统的安装包版本可能会不一样,需要根据操作系统或平台选择不同版本的安装包。例如:libgfortran工具包在mac系统中版本是5.0.0,在linux-64中的版本为3.0.0。a) 导出安装工具包,需要注意:导出的工具包不能带有构建信息,参考命令如下。b) 执行环境的安装,参考Dockerfile中的安装命令。1. 构建docker环境:配置Dockerfile。2. 安

k8s错误集锦

k8s容器的内存设置踩坑......







