logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

See apt-secure(8) manpage for repository creation and user configuration报错问题定位

​参考了:https://stackoverflow.com/questions/59139453/repository-is-not-signed-in-docker-build我尝试在docker中执行 RUN apt-get update && apt-get install -y openssh-server,但总是得到下面的异常:Get:4 http://archive.

文章图片
#ubuntu#linux#服务器
Byzer 面试必考题 —— 同一用户同一位置停留时长

老张最近在整理面试题的时候,发现一道题目非常具有代表性,几乎数据开发岗位的同学都耳熟能详的一道题,我们下面将演示2种写法,分别看下他们之间的异同。需求现有如下数据文件需要处理,格式:CSV,位置: hdfs://byzerwh/input.csv ,大小:100GB字段名:user_id, location_id, time, duration字段中文名:用户ID,位置ID,开始时间,停留时长(分

文章图片
#面试#spark#mapreduce
Byzer 底层原理: SQL 层面的扩展是如何实现的

Why make wheels ?“宇宙的尽头是SQL!”,相信从 MapReduce 时代过渡过来的开发,在第一次接触分布式 SQL 引擎都会惊叹出这句话。低代码化的潮流,让 SQL 语言快速蔓延到更多的基础设施上面。但不得不说,SQL 也存在它的短板,首先它最早为了关系型数据库设计的,适合查询而非 ETL,但是现在人们慢慢把他扩展到 ETL,批流处理,甚至 AI 上,它就有点吃力了。 第二个问

文章图片
#sql#数据库#database
spark添加二方包导致依赖冲突排查

​问题描述近期发现了一个线上问题,本地启动byzer服务是正常的,但打好的docker镜像就是抛异常跑不起来,而前几天构建的镜像是正常的,初步定位到时新的发布导致的!于是经过了一系列痛苦的排查。错误堆栈看byzer-lang最近的提交记录都在30天前,显示不会是它的问题,于是根据日志研究。7bafdda4df93] __MMMMMM__ Total jobs: 1 current job:1 jo

#spark#java#大数据
一篇文章了解Byzer的文件系统

一篇文章了解Byzer的文件系统Byzer 是一门面向 Data 和 AI 的新一代编程语言,它支持多种文件类型,例如本地文件系统,HDFS,对象存储:Amazon blob、S3等。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-S5YLLLct-1652844497984)(https://kyligence.feishu.cn/space/api/box/str

文章图片
#linux#hive#big data
【Byzer】Python Daemon 暴增的问题排查

python daemon 暴增的问题排查背景https://github.com/byzer-org/byzer-lang/issues/1652后台发现daemon进程增长很快!而正常情况是一个python env 应该只有一个进程。下图可以看到多个daemon:影响范围大致从driver节点的系统资源分析了一下,发现问题比较严重,注意有以下几点:进程常驻,不会自动销毁,会导致创建过多导致cp

文章图片
#后端#开发语言
    共 11 条
  • 1
  • 2
  • 请选择