logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【大数据系列】数据怎么分片?——HDFS Block vs Doris Tablet

HDFS Block与Doris Tablet的核心区别在于数据切分逻辑:HDFS采用固定大小(默认128MB)的物理分块,如同"按斤切肉"般无视数据内容,仅存储原始字节段,查询时需全量扫描;而Doris Tablet则基于业务逻辑进行"按户分粮"式分区(如时间)和分桶(如用户ID哈希),每个Tablet都是带索引的独立数据单元,支持精准定位查询。这种差异使

文章图片
#hdfs#大数据
【数据仓库·第0章】半小时超高速入门DW

数据仓库是企业数据管理的核心系统,它通过分层架构(ODS→DWD→DWS→ADS)对业务数据进行采集、清洗和建模,解决OLTP系统(如MySQL)在海量数据分析中的性能瓶颈。其核心采用星型模型,通过事实表(记录业务事件)和维度表(描述业务实体)的关联支持多维度分析。典型技术栈包括:Hive(离线存储)、Spark(批量计算)、Flink(实时处理)、Doris(高速查询)和Kafka(数据传输),

文章图片
#数据仓库#hive#flink +3
【超详细】一文搞懂 WebSocket 定时推送!

本文从实际开发场景出发,梳理了 WebSocket 定时推送的基本实现方式,并详细解释了后端如何识别前端连接、维护订阅关系,以及实现“给谁发什么”的精准推送机制。

文章图片
#websocket#状态模式#网络协议 +3
【对比向】细算“成本”——Hive vs. Doris

本文对比分析了Hive和Doris在存储成本、计算成本和隐性成本三个维度的差异。Hive采用弹性计算模式,存储成本低廉但查询延迟高;Doris基于常驻进程,存储成本高但查询响应快。Hive的成本与数据规模和加工次数线性相关,适合批处理;Doris的成本与服务等级和留存体量挂钩,适合实时查询。建议采用混合架构:Hive处理全量数据,Doris仅承载需要快速访问的热数据,以优化总体成本效益。两种技术成

文章图片
#hive#大数据#数据库
【对比向】细算“成本”——Hive vs. Doris

本文对比分析了Hive和Doris在存储成本、计算成本和隐性成本三个维度的差异。Hive采用弹性计算模式,存储成本低廉但查询延迟高;Doris基于常驻进程,存储成本高但查询响应快。Hive的成本与数据规模和加工次数线性相关,适合批处理;Doris的成本与服务等级和留存体量挂钩,适合实时查询。建议采用混合架构:Hive处理全量数据,Doris仅承载需要快速访问的热数据,以优化总体成本效益。两种技术成

文章图片
#hive#大数据#数据库
【对比向】既生瑜何生亮?不!Hive 和 Doris不一样

【摘要】Hive与Doris在数仓架构中形成互补:Hive作为低成本批处理底座,负责PB级数据存储和ETL计算;Doris作为交互式查询引擎,加速高频访问的热数据查询。典型分层架构中,Hive承载原始数据清洗和规范化(ODS/DWD),结果数据通过批量加载进入Doris提供秒级响应(DWS/ADS)。二者的本质差异在于成本模型和适用场景——Hive适合离线重计算和冷数据存储,Doris擅长实时分析

文章图片
#hive#hadoop#数据仓库
【保姆级】让AI可以像你的程序员同事一样干活(如何接入并正确使用Cline[claude/gpt/gemini])

VSCode插件Cline安装使用指南:1️⃣安装步骤-搜索安装Cline插件-配置API密钥;2️⃣模型切换-通过设置切换不同模型(Claude3.5Sonnet适合工作,4.x适合思考);3️⃣优化技巧-使用预设提示词提升交互质量-创建.clinerules文件规范AI行为。让Cline成为你的智能编程助手,提供更专业的代码分析和建议。

文章图片
#javascript#开发语言#ecmascript
【保姆级】让AI可以像你的程序员同事一样干活(如何接入并正确使用Cline[claude/gpt/gemini])

VSCode插件Cline安装使用指南:1️⃣安装步骤-搜索安装Cline插件-配置API密钥;2️⃣模型切换-通过设置切换不同模型(Claude3.5Sonnet适合工作,4.x适合思考);3️⃣优化技巧-使用预设提示词提升交互质量-创建.clinerules文件规范AI行为。让Cline成为你的智能编程助手,提供更专业的代码分析和建议。

文章图片
#javascript#开发语言#ecmascript
【Self-Attention第2弹】模型如何知道跟谁更“亲”?

这篇文章深入浅出地解释了Self-Attention机制的工作原理。作者通过生活化的比喻,将复杂的技术概念转化为易于理解的日常场景。

文章图片
#人工智能#机器学习#深度学习
【Self-Attention第4弹】Q、K、V 为什么要分三套,不能一套全干吗?

摘要:注意力机制中Q/K/V分离的设计源于三者在语义和功能上的本质差异:Q(Query)表示当前搜索意图,K(Key)是被匹配对象的特征,V(Value)是实际获取的信息。这种分离类似于图书馆检索系统(搜索词/目录索引/书籍内容)、团队组建(项目需求/简历技能/实际能力)等场景,确保模型能分别处理"找谁"和"拿什么"两个独立任务。数学上通过不同线性变换实现功

文章图片
#人工智能#自然语言处理#transformer
    共 16 条
  • 1
  • 2
  • 请选择