logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

数据建模?数据仓库工具,维度建模权威指南第三版?来就对了!!!

维度建模的核心概念和实际应用,提供了丰富的案例和模板,帮助读者在复杂的数据环境中建立高效的数据仓库系统。书中提到的星型模式、雪花模式,以及各种设计模式(如退化维度、缓慢变化维度等),不仅是理论,还为实际项目提供了模板化的解决方案。对于从事数据仓库设计、开发的从业者而言,这本书是不可多得的必读佳作,也为希望深入理解维度建模精髓的技术人员提供了宝贵的理论和实践指引。在书的后半部分,作者深入探讨了跨行业

文章图片
#大数据
数据治理!数据治理!没有理论知识怎么治理呢??

数据的产生已 经完全不受时间、地点的限制, 大约每两年就会翻 一倍,换句话说,每两年产生的数据量相当于之前产生的全部数据量。信息数据的单位 由TB 一PB 一EB 一ZB的级别暴增,而这样的数据很明显已经远远超出了我们人力所能处 理的范围,因此大数据应运而生。而这也不仅仅体现在数据的大小上,同时也体现在数据的内容、 来源、结构上。随着数据的变化,我们 的 算 法 也 要 升 级, 同 样 , 我

文章图片
#大数据
数据治理为何如此简单?

免费获取数据治理ppt,一键打开使用!!

文章图片
#大数据#数据分析
数据工程师该何去何从?如何面对越来越多的AI大模型的世界

从 OpenAI 的 GPT 系列到 Google 的 BERT,再到国内众多科技企业推出的各类大模型“豆包”,Deepseek等等,它们如雨后春笋般涌现,迅速改变着我们的生活和工作方式。这些大模型展现出了令人惊叹的能力,无论是自然语言处理中的文本生成、智能问答,还是计算机视觉领域的图像识别、图像生成等任务,都取得了突破性的进展。下面就是我收集的相关学习资料,想要的同学,关注后个人微信公众。如我开

文章图片
#人工智能
Spark SQL使用get_json_object函数解析json

get_json_object(string json_string, string path)说明:第一个参数填写json对象变量,第二个参数使用$表示json变量标识,然后用 . 或 [] 读取对象或数组;如果输入的json字符串无效,那么返回NULL。举例:数据准备如下:使用实例:with data_table as (select"{\"timestamp\": \"2021-03-23T

Push master to origin/master was rejected by remote

很多人 ,百度半天网上都是教你们按照他们的解决方案来,但你们真的懂原因吗?其实不见其然,所以本篇就告诉你怎么去找到问题的具体的报错和解决它。现象描述很多人都是本地pull正常,push报错,而且基本都是报Push master to origin/master was rejected by remote这个错误,其实,大家可以不用网上搜索的,因为git本地的运行日志告诉你答案了,你只需要在Ide

#git#github
Flink写入Hbase

1、在构建实时数仓的时候,通常会把dim层的数据存入hbase,这样做的好处一个是利用hbase的幂等性的功能,维度表基本上都会有数据唯一性,第二个在实时性要求的场景下,可以做数据点查关联,效率上得到一定的保障。部分sink代码如下:private transient Connection hbaseConnection;private transient Connection hbaseConn

文章图片
#hbase#flink#数据库
Flink利用KafkaSource读取Kafka数据做为数据源

虎年第一篇:在Flink的1.13版本以后,官方对FlinkKafkaConsumer类进行了过期设置,所以最好用KafkaSource来进行读取数据。pom文件<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.12</art

文章图片
#kafka#flink#分布式
到底了