logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

什么是数据仓库的ETL

清洗转换(Transform)**后,**加载(Load)**到目标数据库或数据仓库的过程。它是企业数据治理、商业智能(BI)和大数据分析的基础。掌握SQL和Python(Pandas)是ETL开发的基础,同时需要理解数据建模(如星型模型)和分布式计算原理(Spark)。数据仓库(Snowflake、Redshift)、数据湖(HDFS)、分析数据库(ClickHouse)。将分散的"2023-0

#数据仓库#etl
【后端百科】Redis的三种模式原理介绍及优缺点

主从复制模式是Redis最基础的集群模式,通过将一个Redis节点(主节点)的数据复制到一个或多个其他Redis节点(从节点)来实现数据的冗余和备份。主节点负责处理客户端的写操作,从节点则实时同步主节点的数据,并处理读操作。这种模式实现了读写分离,提高了系统的性能和数据可靠性。哨兵模式是在主从复制基础上加入了哨兵节点,实现了自动故障转移。哨兵节点是一种特殊的Redis节点,它会监控主节点和从节点的

文章图片
#面试#redis#职场和发展
【后端百科】设计一个分布式锁需要考虑哪些东西

分布式锁是我们在分布式场景中经常用到的一种技术,在后端面试中也是出镜率很高,那么我们设计分布式锁的时候应该从那几方面去考虑呢。

文章图片
#面试#分布式#职场和发展
【gopher的java学习笔记】代码分层之controller和service

Java中的Controller层和Service层是构建Web应用程序的重要组成部分。Controller层负责接收用户请求并处理,而Service层则负责实现业务逻辑和数据访问。通过将应用程序划分为这两个层次,可以实现代码的模块化和解耦,提高代码的可维护性和可测试性。同时,这种架构也便于团队合作开发,各个层次之间的职责清晰,开发人员可以根据自己的专长进行工作。

文章图片
#java#学习
什么是数据仓库的ETL

清洗转换(Transform)**后,**加载(Load)**到目标数据库或数据仓库的过程。它是企业数据治理、商业智能(BI)和大数据分析的基础。掌握SQL和Python(Pandas)是ETL开发的基础,同时需要理解数据建模(如星型模型)和分布式计算原理(Spark)。数据仓库(Snowflake、Redshift)、数据湖(HDFS)、分析数据库(ClickHouse)。将分散的"2023-0

#数据仓库#etl
【如何提升代码工程质量】code review篇

在我刚从学校毕业的第一份工作的第一个项目中,那时候还保持着在学校里面的思维,就是代码只要实现功能就行,所以命名各种a、b、c、test之类的,函数抽象也不注意,这样当然不会影响功能的实现,但问题是,商业产品的代码是有一个漫长的维护周期的,当你实现的功能不可避免的出现问题的时候,麻烦就来了。当时我第一个项目交付之后半个月,就遇到了一些功能上的问题,需要我去改下代码,这个时候我去读我半个月前写的代码,

文章图片
#代码复审
到底了