1、Spark中的HashShufle的有哪些不足？1）shuffle产生海量的小文件在磁盘上，此时会产生大量耗时的、低效的IO操作；2）容易导致内存不够用，由于内存需要保存海量的文件操作句柄和临时缓存信息，如果数据处理规模比较大的话，容易出现OOM；3）容易出现数据倾斜，导致OOM。2、conslidate是如何优化Hash shuffle时在map端产生的小文件？1）conslidate为了解

介绍下MapReduce，MapReduce优缺点

1、Hive表关联查询，如何解决数据倾斜的问题？（☆☆☆☆☆）1）倾斜原因： map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。（1）key分布不均匀;（2）业务数据本身的特性;（3）建表时考虑不周;（4）某些SQL语句本身就有数据倾斜;如何避免：对于key为空产生的数据倾斜，可以对其赋予.

1、Shuffle优化配置 - spark.shuffle.file.buffer默认值：32k参数说明：该参数用于设置shuffle write task的BufferedOutputStream的buffer缓冲大小。将数据写到磁盘文件之前，会先写入buffer缓冲中，待缓冲写满之后，才会溢写到磁盘。调优建议：如果作业可用的内存资源较为充足的话，可以适当增加这个参数的大小（比如64k），从而减

阿里云大数据开发三面面经，已过，面试题已配答案

阿里云大数据开发二面面经，已过，面试题已配答案

当我们移植FreeRTOS时，会出现了freertos.axf: Error: L6218E: Undefined symbol xTaskGetSchedulerState (referred from delay.o).（这里我是直接用的STM32自带的一个工程模板，所以是Template.axf）这是因为在官方提供的源码中有一个地方需要我们对它进行修改，程序才能正确运行将 FreeRTOS.

1、Scala在Windows系统上的安装及环境配置1）安装JDK1.8版本（注意：一定要是1.8版本，否则会有错误）>> 官网下载JDK1.8Oracle官网下载JDK的地址：https://www.oracle.com/technetwork/java/javase/downloads/index.html自行选择32或64位下载，下载之前请先勾选“ Accep...

三、MapReduce案例实操1、MapReduce核心编程思想  1）分布式的运算程序往往需要分成至少2个阶段  2）第一个阶段的maptask并发实例，完全并行运行，互不相干  3）第二个阶段的reduce task并发实例互不相干，但是他们的数据依赖于上一个阶段的所有maptask并发实例的输出  4）MapReduce编程模型只能包含一个map阶段和一个reduce阶段，如果用户...

前面使用的是Win7系统，所以安装就按照网上教程基本都能搞定，最近换了电脑（现在基本都是自带Win10，有时候感觉有点恶心。。。。。。），装好虚拟机之后，打算装个SecureCRT，整了半天，网上教程看遍了。。。。。还是没解决，最后用了个比较傻的办法 [笑哭.jpg]解决了1、先在Win7环境下把SecureCRT安装好（U盘或者本地都行），之后把安装好的SecureCRT&FX拷贝...