1、视频表2、用户表。

YARN是Apache Hadoop生态系统中的一个集群资源管理器。它的主要目的是管理和分配集群中的资源，并为运行在Hadoop集群上的应用程序提供资源。YARN的架构基于两个主要组件：ResourceManager（资源管理器）和NodeManager（节点管理器）。负责整个集群的资源管理和调度。它接收来自客户端的应用程序提交请求，并根据可用资源进行分配。ResourceManager也负责监控

Hive是基于hadoop的一个数据仓库工具，将结构化的数据文件映射成一张表，并提供类SQL（HQL）查询功能。1）用户结构：ClientCLI（command-line interface）、JDBC/ODBC（jdbc访问hive）2）元数据：Metastore元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；默认

OSR：是指Out-of-Sync Replicas，是指与leader副本失去同步的副本集合。当ISR中的副本失去与leader副本的同步，它们将被移动到OSR中，直到重新与leader副本同步。ACK：是指Ackowledgement，用于控制生产者发送消息时的可靠性和性能。ACK=0生产者不等待任何确认，将消息发送到Kafka后即认为发送成功，适用于对可靠性要求不高的场景。ACK=1生产者等

Hive不会强制要求将数据转换成特定的格式才能使用。利用Hadoop的InputFormat API可以从不同数据源读取数据，使用OutputFormat API可以将数据写成不同的格式输出。对数据进行压缩虽然会增加额外的CPU开销，但是会节约客观的磁盘空间，并且通过减少内存的数据量而提高I/O吞吐量会更加提高网络传输性能。原则上Hadoop的job时I/O密集型的话就可以采用压缩可以提高性能，如

Spark Application（应用程序）：一个独立的Spark作业，它是由一系列的任务（tasks）组成的。一个Spark Application通常包含多个任务（jobs），每个作业由一个或多个RDD转换和操作组成。Job（作业）Job是一组相互依赖的RDD转化和动作操作的有向无环图（DAG）。一个Job代表了一个完整的作业执行过程，它从输入数据开始，经过一系列的RDD转化和动作操作，最终

网络带宽：大数据集群中的节点通常通过网络进行数据通信和传输。如果网络带宽不足，会导致数据传输速度慢，从而影响整个集群的计算性能。存储性能：Hadoop集群通常使用分布式存储系统，如HDFS来存储大量的数据。如果存储系统的读写性能较低，会影响数据的读取和写入速度，从而降低整个集群的计算效率。处理能力：集群中的计算节点数量和每个节点的计算能力都会影响集群的整体处理能力。如果集群规模较小或者每个节点的计

通过Get操作，可以获取到指定行键对应的完整数据行，包括所有的行族和列的数据。预分区键可以是任意的字节数组，通常是根据数据的特点和访问模式来选择的。另外，HBase还提供了强一致性的数据模型和灵活的数据模式，可以根据需求动态地添加和删除列。是的，HBase的rowkey不能超过一定的长度是为了保证HBase的性能和存储效率。此外，rowkey的唯一性是HBase中数据的检索和存储的重要依据。读缓存

这个过程通常称为分区操作。因此，Reduce任务知道去哪里拉Map结果集是通过分区操作来实现的。每个Reduce任务会收集到属于自己的分区中的键值对，然后对这些键值对进行处理，最终生成最终的结果。所以，Reduce任务知道去哪里拉Map结果集是。

Spark RDD是Spark中最基本的数据抽象，是一种分布式的、不可变的数据集合。RDD可以看作是Spark中的一个弹性分布式的内存数据集，它可以在集群中进行并行计算。弹性：由于RDD是不可变的，所以可以通过重新计算来恢复丢失的数据，保证了数据的弹性和容错性。分区：RDD将数据分为多个分区，每个分区可以在集群中的不同节点上进行并行计算。依赖：RDD之间通过依赖关系构建了有向无环图（DAG），这样