logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

关于spark在yarn上运行时候内存的介绍

driver内存,executor内存,堆内存,对外内存

文章图片
#spark#大数据#分布式
spark on yarn运行日志查看

spark日志信息查看,shell提交spark程序写出日志信息到指定路径

#spark#大数据#分布式
FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

FAILED: Execution Error, return code 137 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTaskFAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask# java.lang.

#hive#apache#hadoop
OpenClaw “养龙虾”本地免费部署保姆级教程

OpenClaw本地部署指南 核心要点: 成本构成:软件免费,需考虑硬件配置(建议≥8GB显存/16GB内存)和模型运行成本 推荐方案:Ollama+本地模型(零成本且隐私安全) 部署流程: 安装Node.js和Ollama 定制模型(扩展上下文窗口至32768 tokens) 配置OpenClaw连接本地模型 注意事项: 注意API安全设置 重要文件需备份 建议先在测试环境验证 摘要特点:保留关

MySQL批量插入数据 ON DUPLICATE KEY UPDATE

INSERT INTO … ON DUPLICATE KEY UPDATE向student表中插入学生信息,如果student表已经存在该id,那么就将该id对应姓名更新;如果不存在该id,那么插入新的一行记录;insert into student(id,name)values(3,'kobe'),(4,'Curry')ON DUPLICATE KEY UPDATE name=values(na

#mysql
azkaban的安装、配置与使用详解

azkaban的安装、配置与使用1、下载安装包并编译2、MySQL创建azkaban数据库和用户3、配置azkaban-exec4、配置azkaban-web1、下载安装包并编译1.下载如下软件安装包,上传至虚拟机并解压gradle-5.6.3-all.zipazkaban-3.84.10.tar.gz tmp[root@hadoop100 software]# tar -zxvf azkaban

#数据库#mysql#linux
到底了