一、Hbase架构在HBase中，表被分割成区域，并由区域服务器提供服务。区域被列族垂直分为“Stores”。Stores被保存在HDFS文件。下面显示的是HBase的结构。注意：术语“store”是用于区域来解释存储结构。HBase有三个主要组成部分：客户端库，主服务器和区域服务器。区域服务器可以按要求添加或删除。主服务器分配区域给区域服务器并在Apache ZooKeeper的帮助下完成这个任

（一）简介spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用内存并行计算框架，用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的MapReduce计算模型。高效的支撑更多计算模式，包括交互式查询和流处理。spark的一个主要特点是能够在内存中进行计算，及时依赖磁盘进行复杂的运算，Spark依然比MapReduce更加高效。中间结果输出：基于Map

方式一：方式二：方式三：Yarn的实际资源通过container，可以设置Yarn的最小、最大内存，一般根据现有的集群资源来分配代码资源——内存和CPU核数举个例子：假设集群中有100G可用内存，20个可用CPU核，则可设置参数如下，尽最大化使用集群资源，提高运行效率num-executors=10,executor-cores=2,executor-memory=10...

Spark-Spark任务中job,stage,task之间的关系:什么是jobJob简单讲就是提交给spark的任务。什么是stageStage是每一个job处理过程要分为的几个阶段。3什么是taskTask是每一个job处理过程要分几为几次任务。Task是任务运行的最小单位。最终是要以task为单位运行在executor中。Job和stage和task之间有什么关系Job----> 一个

一、操作流程（1）构建maven项目①选择maven项目，将Project SDK设置为1.8，然后从Create form archetype中选择scala-archetype-empty-RELEASE②命名Project，然后将GroupId修改为org.flowpp（可选，此处为与flow公司的操作相一致），其他不需要修改③选择maven版本，可直接选择本地下载安装的maven版本（ma

1、技术一面Q1：自我介绍Q2：介绍字节内存泄漏和OOM的问题Q3：字节的KV存储库、内存和缓存的关系Q4：介绍伴随同行项目Q5：项目是否具有分层，比如dao、util、处理层，也就是spring boot的那一套Q6：数据量级多大、数据存储格式是什么、spark如何读取Q7：数据库索引、B+树、红黑树、B树、B-树、平衡二叉树的区别Q8：spark client和sprak cluster的区别

一、基本信息可用服务器IP：172.16.129.203需要调用的Python扩展包：happybase、collections，分别用于与Hbase连接和字典计数。查询前的准备需要在Linux命令行中输入代码，以查看thrift集群的调用情况：jps //查看thrift是否得以调用未被调用的情况：被调用的情况：如果未被调用，我们就要在Linux命令行中运行下列语句，实现thrift集群的调用：

ORC（OptimizedRC File）也是 Apache 的顶级项目，也是自描述的列存储，源自于RC（RecordColumnar File），主要是在 Hive 中使用，支持数据压缩、索引功能、update 操作、ACID 操作、支持复杂类型等，其查询性能相对 Parquet 略有优势。orc文件有如下结构：block,stripe,row_group,stream,index data,R

1.Spark的并行度指的是什么？spark作业中，各个stage的task的数量，也就代表了spark作业在各个阶段stage的并行度！当分配完所能分配的最大资源了，然后对应资源去调节程序的并行度，如果并行度没有与资源相匹配，那么导致你分配下去的资源都浪费掉了。同时并行运行，还可以让每个task要处理的数量变少（很简单的原理。合理设置并行度，可以充分利用集群资源，减少每个task处理数据量，而增

技术面Q1：对大数据技术有一定的了解，讲讲你都学了什么Q2：写SPARK过程中遇到的问题Q3：HDFS调节过参数吗Q4：学校里面有参加一些项目吗Q5：如果项目中与其他同事出现分歧过后，你会怎么做Q6：求学过程中，让你影响最深刻的一件事Q7：你怎么管理时间的Q8：如何释放压力Q9：三个优点、一个缺点Q10：介意加班吗HR面Q1：自我介绍Q2：印象最深的事情Q3：支教的资金来源Q4：城市选择，深圳、北