logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【大数据_数仓架构-12_使用hive进行etl计算的背景下,累计快照事实表,如何创建,用电商场景举例】

本文介绍了在Hive中实现累积快照事实表的方法,重点解决Hive不支持UPDATE操作的问题。核心思路是采用全量覆盖+分区滚动策略:每日ETL流程将昨日未完成订单与今日新订单合并,通过LEFT JOIN关联各业务过程最新事件,使用COALESCE函数保留已有值或更新新值,最后用INSERT OVERWRITE重写分区。文章以电商订单履约场景为例,详细说明了表结构设计(按订单创建日分区、ORC存储格

文章图片
#大数据#架构#hive
【大模型_向量数据库_Milvus-Milvus快速入门】

Milvus 是当前最主流的开源向量数据库,2.x 版本已完全云原生、生产可用,本教程基于编写,从环境搭建到可运行Demo全流程覆盖,新手10分钟即可跑通。

文章图片
#milvus
【大模型_向量数据库-向量数据库有哪些,MySQL的区别和联系,具体的应用场景有哪些?】

向量数据库有哪些,MySQL的区别和联系,具体的应用场景有哪些?

文章图片
#人工智能
【大模型_智驾-到底什么是自动驾驶数据闭环】

整体来看,自动驾驶数据闭环本质上是一套“用真实场景定义问题,用标注数据训练模型,用仿真+实车验证效果,用问题数据反哺迭代”的正向循环机制。从行业落地进度来看,数据闭环的运转效率(比如数据处理速度、标注成本)和边缘场景的覆盖度,直接决定了自动驾驶算法的成熟度,也是不同企业自动驾驶能力差距的核心来源。

文章图片
#自动驾驶#人工智能#机器学习
【大模型_向量数据库-向量数据库在大模型LLM项目中的使用场景】

所有这些场景的本质,都是给LLM补全“外部语义记忆”和“精准匹配能力”:LLM本身是“闭卷考试”,只能靠训练数据内的知识答题,向量数据库就是给LLM准备的“开卷考试的参考资料库”,让LLM能基于最新的、私有的、精准的语义信息生成回答,解决幻觉、知识过时、无状态、上下文有限等核心痛点。

文章图片
#人工智能
【大数据_Flink-到底什么是Flink的反压,现象是什么,如何解决优化以及避免反压】

每个算子就是水管上的一个加工/开关节点,数据就是水管里的水,上游是水龙头,下游是接水的容器;正常情况下,上游出水速度和下游接水/处理速度匹配,水流通畅;如果下游接水太慢(比如容器太小、倒水太慢),水管里的水就会在下游前面积压,甚至撑爆水管;这时候下游就会给上游发信号「别倒了!我忙不过来」,上游就自动减慢甚至暂停出水。这个「下游给上游踩刹车」的自我保护机制,就是Flink的反压(Backpressu

文章图片
#大数据#flink
【大数据_数仓架构-02_到底数仓ODS到ADS如何建设。使用淘宝商城举例,从ODS层一直建设到ADS层】

淘宝商城数仓分层建设方案采用经典五层架构(ODS→DWD→DWS→ADS),以订单、会员、履约三大核心域为例。ODS层保留原始数据,DIM层构建一致性维度(会员/商品/店铺维等),DWD层按业务过程建模(订单/支付/发货事实表),DWS层按主题聚合(用户/店铺宽表),最终ADS层支撑报表/API等应用场景。方案强调数据标准化(命名规范)、维度退化、数据清洗和分层复用,形成从源数据到应用服务的完整链

文章图片
#大数据#架构
【大数据_数仓架构-01_到底为什么要进行数仓分仓】

数据仓库分层的核心价值在于通过结构化设计解决复杂性问题。首先,分层架构(ODS→DWD→DWS→ADS)实现处理流程解耦,各层专注单一职责,避免"烟囱式"开发。其次,通过中间层统一指标口径,预计算减少重复加工,提升查询性能与数据一致性。此外,分层设计能有效隔离源系统变更影响,保障下游稳定性,同时建立清晰的数据血缘便于问题追溯。从协作角度看,分层明确了数据工程师、建模师和分析师的职责边界,支持从原始

文章图片
#大数据#架构#数据库 +1
【大数据_数仓架构-03_到底ODS层的业务系统和DWD层的数据域有什么区别和联系】

数据仓库建模中,ODS层与DWD层的核心区别在于数据组织视角:ODS层按源系统划分(如交易、会员系统),保持原始数据结构和粒度;DWD层则按主题域和业务过程(如下单、支付)重组数据,进行清洗、标准化和粒度调整。关键差异包括: ODS保留源系统结构,DWD以业务需求为导向重构 ODS存在数据冗余,DWD确保单一业务过程对应唯一事实表 DWD层进行数据清洗、脱敏和维度退化等处理 二者紧密关联,DWD必

文章图片
#大数据#架构
【大数据_数仓架构-04_到底DWS层的主题域和DWD层的数据域有什么区别和联系】

数据仓库中DWD层(数据域)与DWS层(主题)的核心区别在于分析视角:DWD层以业务过程(动词)为中心记录事件明细,如"下单""支付"等;DWS层则以分析对象(名词)为中心聚合指标,如"用户""店铺"等宽表。二者通过"事件记录→对象分析"实现数据转换,DWD的稳定性业务过程为DWD提供唯一数据源,DWS通过跨域聚合、多周期窗口计算满足分析需求。典型区别体现在粒度(事件级vs对象级)、数据形态(事实

文章图片
#大数据
    共 32 条
  • 1
  • 2
  • 3
  • 4
  • 请选择