logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

数据处理演进:EtLT崛起,ELT正在告别历史舞台

在谈论数据处理时,人们经常将其缩写为“ETL”。然而,如果我们仔细观察,数据处理从ETL、ELT、XX ETL(如Reverse ETL、Zero-ETL)到目前流行的EtLT架构经历了多次迭代。虽然Hadoop时代主要依赖ELT(Extract、Load、Transform)方法,但实时数据仓库和数据湖的兴起使得ELT变得过时。EtLT 已成为将数据实时加载到数据湖和实时数据仓库的标准架构。

#大数据
运维实战100:CDH5.16.2升级至CDH6.3.2

本期来分享一个cdh企业运维实战案例,将现有集群CDH版本由5.x版本升级为6.3.x版本。

文章图片
#运维#大数据
阿里,B站小伙伴刚刚分享的大数据开发运维学习规划,抓紧收藏

一.大数据运维与架构课程体系1.0课程与老师介绍本课程是专门培养大数据运维与架构方向专业人才的体系化课程。课程所有讲师小伙伴全部是在职的知名企业大数据开发专家,大数据技术专家职位员工,非专门的培训机构老师(小伙伴当前在职企业阿里巴巴,哔哩哔哩,平安集团,苏宁易购,美团等,运维集群规模大到10000+节点,课程内容可以满足市面上80%以上企业的大数据运维工作)。课程以企业大数据集群运维实战和招聘需求

文章图片
#运维#hadoop#linux
大数据开发要学会看yarn日志:Task容错机制,任务推测执行,计数器

yarn的web界面是所有大数据开发都会或多或少查看的,比如任务运行失败,任务运行缓慢,查看详细任务运行进度,renw1.Task容错机制原理与使用

#hadoop#mapreduce#大数据 +2
涤生大数据实战:基于Flink+ODPS历史累计计算项目分析与优化(上)

当一个用户在T日实时上传了自己的跑步记录,Flink节点1会计算出其 [当日0点起至此刻] 的跑步累计数据data1,Flink节点2会根据该用户id取hbase维表里查询其 [历史~T-1日] 的累计数据 data2 (hbase表里数据由odps每日更新,即T-1日的存量累计汇总数据),将data1和data2二者汇总,就可得到 用户历史至此时刻的汇总数据;在凌晨时分,ODPS计算T-1日数据

文章图片
#大数据#flink#odps
985高校大数据专业教学究竟怎么样?在校生有话说

哈罗大家好,我是来自华南理工大学数据科学与大数据技术专业的老鸭汤,目前是一名大一菜鸟。

文章图片
#大数据
二本土木工程毕业四年,成功转行大数据

二本土木工程专业毕业四年有余,通过涤生大数据历时7个月左右成功转行大数据开发!

#大数据
企业数仓DQC数据质量管理实践篇

本文介绍了数仓DQC数据质量管理理论,并分析了企业中如何进行实践!

文章图片
#数据仓库#大数据#数据挖掘
Python强大的语法支持

学习任何一种编程语言,包括但不限于C、C++、Java、Python,我们都需要先深入了解其基本数据类型:可以概括为整型、浮点型和字符串——因为所有程序代码都会用到这些。1 Python便捷的数学运算1.1 整数计算首先,我们熟知的整数是不带小数部分的整数,Python支持4种基本算术运算:+(加)、-(减)、*(乘)和 /(除)。并且使用 ** 和 % 表示乘方和求余。并且其优先级与数学所学的优

#python#开发语言#大数据
Apache Doris 在数据仓库中的作用与应用实践

在当今数字化时代,企业数据呈爆炸式增长,数据仓库作为企业数据管理和分析的核心基础设施,其重要性不言而喻。而 Apache Doris,作为一款基于 MPP(Massively Parallel Processing,大规模并行处理)架构的高性能实时分析型数据库,在数据仓库领域正发挥着举足轻重的作用。

文章图片
#apache#数据仓库
    共 87 条
  • 1
  • 2
  • 3
  • 9
  • 请选择