大数据面试题：Kafka的消费者和消费者组有什么区别？为什么需要消费者组？

HBase为什么查询快

1、资源运行情况2、资源运行中的集中情况（1）实践中跑的Spark job，有的特别慢，查看CPU利用率很低，可以尝试减少每个executor占用CPU core的数量，增加并行的executor数量，同时配合增加分片，整体上增加了CPU的利用率，加快数据处理速度。（2）发现某job很容易发生内存溢出，我们就增大分片数量，从而减少了每片数据的规模，同时还减少并行的executor数量，这样相同的内

1、程序开发调优 ：避免创建重复的RDD需要对名为“hello.txt”的HDFS文件进行一次map操作，再进行一次reduce操作。也就是说，需要对一份数据执行两次算子操作。错误的做法：对于同一份数据执行多次算子操作时，创建多个RDD。//这里执行了两次textFile方法，针对同一个HDFS文件，创建了两个RDD出来，然后分别对每个RDD都执行了一个算子操作。这种情况下，Spark需要从HDF

1、数据倾斜数据倾斜指的是，并行处理的数据集中，某一部分（如Spark或Kafka的一个Partition）的数据显著多于其它部分，从而使得该部分的处理速度成为整个数据集处理的瓶颈。数据倾斜俩大直接致命后果。1、数据倾斜直接会导致一种情况：Out Of Memory。2、运行速度慢 。主要是发生在Shuffle阶段。同样Key的数据条数太多了。导致了某个key(下图中的80亿条)所在的Task数据

目录一、大数据概论1、大数据概念2、大数据特点3、大数据应用场景4、大数据发展前景5、企业数据部的业务流程分析6、大数据部门组织结构二、从Hadoop框架讨论大数据生态1、Hadoop是什么2、Hadoop发展历史3、Hadoop三大发行版本4、Hadoop优势5、Hadoop组成（重点）5.1 HDFS架构概述5.2 YARN架...

12306抢票爬虫先直接上一下效果图吧：图片上信息是抢票成功后的界面1、技术路线selenium + chromedriver2、思路分析（1）、模拟浏览器登录抢票界面，手动进行登录（2）、登录完成后让浏览器跳转到购票界面（3）、手动输入出发地、目的地、 出发日，检查上面三个信息输入完成后，找到查询按钮，进行车次查询（4）、查找我们需要的车次，看下是否有余票...

分布式计算框架MapReduce一、MapReduce概述  MapReduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架；Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。1、为什么要MapReduce  1）海量数据在单机上处理因为硬件资源限制，无法胜任  2...

1、Spark中的HashShufle的有哪些不足？1）shuffle产生海量的小文件在磁盘上，此时会产生大量耗时的、低效的IO操作；2）容易导致内存不够用，由于内存需要保存海量的文件操作句柄和临时缓存信息，如果数据处理规模比较大的话，容易出现OOM；3）容易出现数据倾斜，导致OOM。2、conslidate是如何优化Hash shuffle时在map端产生的小文件？1）conslidate为了解

介绍下MapReduce，MapReduce优缺点