简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
参考了:https://stackoverflow.com/questions/59139453/repository-is-not-signed-in-docker-build我尝试在docker中执行 RUN apt-get update && apt-get install -y openssh-server,但总是得到下面的异常:Get:4 http://archive.
老张最近在整理面试题的时候,发现一道题目非常具有代表性,几乎数据开发岗位的同学都耳熟能详的一道题,我们下面将演示2种写法,分别看下他们之间的异同。需求现有如下数据文件需要处理,格式:CSV,位置: hdfs://byzerwh/input.csv ,大小:100GB字段名:user_id, location_id, time, duration字段中文名:用户ID,位置ID,开始时间,停留时长(分
Why make wheels ?“宇宙的尽头是SQL!”,相信从 MapReduce 时代过渡过来的开发,在第一次接触分布式 SQL 引擎都会惊叹出这句话。低代码化的潮流,让 SQL 语言快速蔓延到更多的基础设施上面。但不得不说,SQL 也存在它的短板,首先它最早为了关系型数据库设计的,适合查询而非 ETL,但是现在人们慢慢把他扩展到 ETL,批流处理,甚至 AI 上,它就有点吃力了。 第二个问
问题描述近期发现了一个线上问题,本地启动byzer服务是正常的,但打好的docker镜像就是抛异常跑不起来,而前几天构建的镜像是正常的,初步定位到时新的发布导致的!于是经过了一系列痛苦的排查。错误堆栈看byzer-lang最近的提交记录都在30天前,显示不会是它的问题,于是根据日志研究。7bafdda4df93] __MMMMMM__ Total jobs: 1 current job:1 jo
一篇文章了解Byzer的文件系统Byzer 是一门面向 Data 和 AI 的新一代编程语言,它支持多种文件类型,例如本地文件系统,HDFS,对象存储:Amazon blob、S3等。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-S5YLLLct-1652844497984)(https://kyligence.feishu.cn/space/api/box/str
python daemon 暴增的问题排查背景https://github.com/byzer-org/byzer-lang/issues/1652后台发现daemon进程增长很快!而正常情况是一个python env 应该只有一个进程。下图可以看到多个daemon:影响范围大致从driver节点的系统资源分析了一下,发现问题比较严重,注意有以下几点:进程常驻,不会自动销毁,会导致创建过多导致cp