hdfs写数据流程契约部分hdfs文件最小单位创建socket请求发送给dataXceiverserver两个datanode之间通过blockReceiver建立管道将数据发送到下游管道内的所有数据写成功才移除ackqueue中的数据...

第 1 章HBase简介1.1HBase定义HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。1.2HBase数据模型逻辑上，HBase的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。但从HBase的底层物理存储结构(K-V)来看，HBase更像是一个multi-dimensional map。1.2.1HBase逻辑结构1.2.2HBa...

阿里四轮面试总结第一轮面试电话(**5** 月 6 号)：1.自我介绍，包括做过项目。2.有看过哪些 JDK 源码，了解哪些常用库。3.集合框架 HashMap 的扩容机制，ConcurrnetHashMap 的原理4.jvm 内存模型与 gc 内存回收机制5.classloader 结构，是否可以自己定义一个 java.lang.String 类，为什么？ 双亲代理机制。 ...

1、简要描述如何安装配置一个apache开源版hadoop，描述即可，列出步骤更好--解压hadoop包，到指定安装文件夹--配置linux基本网络环境、jdk环境、防火墙环境--修改主机名，方便后面UI的访问--修改hadoop/etc/hadoop/conf下的配置文件，根据部署的模式和需要进行配置--...

千万级订单的生成了解随订单量的提升，数据库系统经历了哪些变化，这些变化带来哪些痛点分库分表环境下，订单的id生成有哪些办法雪花算法的原理及实现支付环境下，对订单系统的架构设计带来哪些影响1. 架构体系深入剖析1.1 演进与背景随着数据量的增长，一般db的架构，经历如下演进：1)单库主从业务请求并发量大到一定量级后，单一主库无法承受，将读写剥离，从库诞生。挑战：开发层框架支持，...

第二步比较重要:对现有的数据做抽象,做主题分类最后一步分析字段比较麻烦,因为有时候数据库字段并没有注释,需要从前台系统插入数据一步步了解流程图viso自己画,业务系统调研-系统业务人员填写业务系统调研模板不需要录入系统的表调研表的模板调研字段模板政府案例政府三清单模板政府部门共享交换平台...

千万级订单的生成了解随订单量的提升，数据库系统经历了哪些变化，这些变化带来哪些痛点分库分表环境下，订单的id生成有哪些办法雪花算法的原理及实现支付环境下，对订单系统的架构设计带来哪些影响1. 架构体系深入剖析1.1 演进与背景随着数据量的增长，一般db的架构，经历如下演进：1)单库主从业务请求并发量大到一定量级后，单一主库无法承受，将读写剥离，从库诞生。挑战：开发层框架支持，...

一.大数据模型8种常见的大数据分析模型：1、留存分析模型；2、漏斗分析模型；3、全行为路径分析；4、热图分析模型；5、事件分析模型；6、用户分群模型；7、用户分析模型；8、黏性分析模型。1、留存分析模型留存分析模型是一种用来分析用户参与情况/活跃程度的分析模型，考察进行初始行为的用户中，有多少人会进行后续行为，这是用来衡量产品对用户价值高低的重要方法。2、漏斗分析模型漏斗分析是一套流程...

第1章 项目需求及架构设计1.1 项目需求分析一、数据采集平台搭建二、Kafka、Zookeeper中间件准备三、下游Spark Streaming对接Kafka接收数据，实现vip个数统计、栏目打标签功能、做题正确率与掌握度的实时计算功能。1.2 项目框架1.2.1 技术选型一、数据存储：Kafka、MySql二、数据处理：Spark三、其他组件：Zookeep...