架构-大数据集群资源评估方法转载声明本文大量内容系转载自网络，有删改，并参考其他文档资料加入了一些内容：1 资源需求背景二手电商网站需要构建一个Kafka集群，目标是每天抗住10亿请求量。2 二八法则之QPS预估每天集群需要承载10亿数据请求，对于普通电商网站而言，一般0点到上午8点请求量很小。使用二八法则估计：80%的数据( 8亿)会在其余16个小时（8点-24点）涌入而且8亿的80%的数据(

大数据处理过程的通俗理解转载声明：本文系转载自以下文章：原始数据、数据清洗、数据集市、数据处理、数据可视化的通俗理解作者：多智时代转载仅为方便学习查看，一切权利属于原作者，本人只是做了整理和排版，如果带来不便请联系我删除。摘要“大数据分析”这么高大上，怎么讲才能最通俗呢，做饭和大数据有什么关系呢?请听下面分析：0x01 原始数据菜地里的毛菜(原始系统的数据，有错误，不精准，...

Kyuubi好文好文全票通过，网易开源项目Kyuubi进入Apache孵化器Apache Kyuubi(Incubating)：网易对Serverless Spark的探索与实践Apache Kyuubi：一个有趣的大数据开源项目Apache Kyuubi 在B站大数据场景下的应用实践基于 Kyuubi 实现分布式 Flink SQL 网关T3 出行基于 Hudi+Kyuubi 的现代技术栈探索K

转载声明本文大量内容系转载自以下文章，有删改，并参考其他文档资料加入了一些内容：时间序列数据库的秘密(2)——索引作者：陶文出处：infoq1 概述Elasticsearch是通过Lucene的倒排索引技术实现比关系型数据库更快的过滤。特别是它对多条件的过滤支持非常好，比如年龄在18和30之间，性别为女性这样的组合查询。倒排索引很多地方都有介绍，但是其比关系型数据库的b-tree索引快在哪里？到底

1 买卖股票的最佳时机 V11.1 概述1.1.1 题目出处https://leetcode-cn.com/problems/best-time-to-buy-and-sell-stock/1.1.2 题目描述给定一个数组，它的第 i 个元素是一支给定股票第 i 天的价格。如果你最多只允许完成一笔交易（即买入和卖出一支股票一次），设计一个算法来计算你所能获取的最大利润。注意：你不能在买入股票前卖出

spring学习-拦截器0x00 系列文章目录spring学习-拦截器spring学习-SpringMVC全局异常处理0x01 摘要本文主要是作者学习spring中的拦截器的一些简要记录。0x02 拦截器介绍2.1 拦截器简介拦截器是spring中的一个重要概念。他被注册到spring，拦截指定规则的请求，基于回调机制执行。一般来说，拦截器只会拦截action请求，这一点与过...

数据仓库-拉链表，流水表，全量表，增量表转载声明本文大量内容系转载自以下文章，有删改，并参考其他文档资料加入了一些内容：数据仓库中的增量表，全量表，快照表，拉链表作者：北京小辉出处：csdn什么是全量表，增量表，快照表，拉链表？作者：泽米出处：csdn一文搞定数据仓库之拉链表，流水表，全量表，增量表作者：mtj66出处：csdn数据仓库中的全量表，增量表，拉链表，流水表及快照表作者：大数据私房菜出

转载声明本文系转载自以下两篇文章：压缩格式gzip/snappy/lzo/bzip2 比较与总结作者： zzhongcySnappy、Lzo、Gzip、Bzip2比较作者： 心有余力转载仅为方便学习查看，一切权利属于原作者，本人只是做了整理和排版，如果带来不便请联系我删除。摘要本文对大数据常用的压缩方式GZip, BZip2, LZO, Snappy进行对比。特性对比...

数据仓库-拉链表，流水表，全量表，增量表转载声明本文大量内容系转载自以下文章，有删改，并参考其他文档资料加入了一些内容：数据仓库中的增量表，全量表，快照表，拉链表作者：北京小辉出处：csdn什么是全量表，增量表，快照表，拉链表？作者：泽米出处：csdn一文搞定数据仓库之拉链表，流水表，全量表，增量表作者：mtj66出处：csdn数据仓库中的全量表，增量表，拉链表，流水表及快照表作者：大数据私房菜出

HDFS学习0x01 摘要本文介绍了Hadoop体系中最重要的HDFS原理。0x02 Hadoop的整体框架Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS（Hadoop Distributed File System）来执行MapReduce程序的MapReduce引...