
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
如何搭建spark yarn 模式的集群集群。
配置调优:根据服务器资源调整yarn.nodemanager.resource.memory-mb (YARN 内存)和 Spark 任务参数(如--executor-memory )。-hadoop-env.sh :指定 JDK 路径(如export JAVA_HOME=/usr/java/jdk1.8.0_301 )。echo "export SPARK_MASTER_IP=主节点IP" >>
配置hadoop集群-启动集群
(1)如果集群是第一次启动,需要在hadoop100节点(指定为namenode的节点)格式化NameNode(注意:格式化NameNode,会产生新的集群id)(3)在配置了ResourceManager的节点(hadoop101)启动YARN。在环境变量中添加/etc/profile.d/my_env.sh。(a)浏览器中输入:http://hadoop100:9870。(1)Web端查看HD
到底了







