写文章
- @KANGBboy
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
hive UDF函数
hive udf函数
ES 索引切换及验证
ES索引切换及验证
ES 父子索引使用
ES 父子索引使用 高版本ES适配(集群>7.x)
使用spark将MySQL数据导入hive
spark实现mysql2hive
spark执行结果不打印日志,pom.xml配置
spark打印日志设置
hadoop 前端yarn 8088端口查看任务执行情况
但聚合资源分配的内存时间积分（ 2612397662 MB-seconds ）远大于被抢占的资源积分（ 24922718 MB-seconds ），说明容器内存申请过高，实际使用不足，需降低容器内存请求。设置tez.am.container.reuse.enabled=true ，允许AM容器复用，减少YARN调度 overhead，尤其适合短任务场景。一、核心参数调整：减少资源抢占，匹配实际需求
spark执行结果不打印日志,pom.xml配置
spark打印日志设置