logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据之路:阿里巴巴大数据实践——事实表设计

事实表是数据仓库核心,用于记录可度量的业务事件,支持高性能查询与低成本存储。主要包含事务事实表(记录原子事件)、周期快照表(捕获状态)和累积快照表(追踪流程)。设计需遵循粒度统一、事实可加性、一致性等原则,提升扩展性与分析效率。

#大数据
大数据之路:阿里巴巴大数据实践——日志采集与数据同步

本资料全面介绍大数据处理技术架构,涵盖数据采集、同步、计算与服务全流程。内容包括Web/App端日志采集方案、数据同步工具DataX与TimeTunnel、离线与实时数仓架构、OneData方法论及元数据管理等核心内容,适用于构建企业级数据平台体系。

#大数据
数据中台架构与技术体系

数据采集层数据源类型:业务系统(ERP、CRM)、日志、IoT设备、第三方API等。采集方式:数据缓冲与预处理:使用消息队列(如Kafka)作为缓冲区,应对数据流量峰值。数据存储层数据湖(Data Lake) :存储原始数据(结构化、半结构化、非结构化),支持低成本、高扩展性(HDFS、阿里云OSS)。数据仓库(Data Warehouse) :存储清洗后的结构化数据,面向主题建模(Hive、Cl

文章图片
#架构#大数据
微服务治理与可观测性

系统运行时生成的文本记录,包含时间戳、事件描述和上下文信息。

文章图片
#微服务#架构#云原生
Apache Iceberg数据湖基础

Apache Iceberg 是新一代数据湖表格式,旨在解决传统数据湖(如 Hive)在事务性、并发控制和元数据管理上的不足。它支持 Spark、Flink、Trino 等多种计算引擎,提供 ACID 事务、模式演化、分区演化等核心特性,具备良好的云存储兼容性和高性能查询能力,适用于大规模结构化数据分析场景。

#apache
Spring MVC设计与实现

DispatcherServlet 是 Spring MVC 的核心组件,负责请求的分发与处理。其初始化阶段包括加载 WebApplicationContext、配置策略组件(如 HandlerMapping、HandlerAdapter、ViewResolver 等)。请求处理时,通过 HandlerMapping 匹配处理器,HandlerAdapter 执行具体逻辑,并由 ViewResol

文章图片
#spring#mvc#java
数据中台架构与技术体系

数据采集层数据源类型:业务系统(ERP、CRM)、日志、IoT设备、第三方API等。采集方式:数据缓冲与预处理:使用消息队列(如Kafka)作为缓冲区,应对数据流量峰值。数据存储层数据湖(Data Lake) :存储原始数据(结构化、半结构化、非结构化),支持低成本、高扩展性(HDFS、阿里云OSS)。数据仓库(Data Warehouse) :存储清洗后的结构化数据,面向主题建模(Hive、Cl

文章图片
#架构#大数据
到底了