当HDFS系统的存储空间不够时,我们只需要添加一台新的机器到当前集群中即可完成扩容,这就是我们所说的横向扩容,而集群的存储能力,是按照整个集群中的所有的机器的存储能力来计算的,这也就是我们所说的高扩容性。,如果使用多台计算机进行存储,虽然解决了数据的存储问题,但是后期的管理和维护成本比较高,因为我们不能精准的知道哪台机器上存储了什么样的数据,所以我们。理论上是可以的,但是如果设置的块大小过小,会占

环比增长率是指两个相邻时段之间某种指标的增长率。通常来说，环比增长率是比较两个连续时间段内某项数据的增长量大小的。

代理服务器问题影响上网

本文主要联系了在Spark中怎么处理json数据

本文细致讲解了一下spark调度流程和job执行的关键步骤

Zookeeper 本地安装步骤和集群一键启停

本文介绍了两种重要的配置方式：Live Templates 和文件模板。Live Templates 是一种快速生成常用代码片段的方法，而文件模板则允许您定义新文件的初始代码结构。通过本文，您将学会如何配置这两种模板，从而加速您的开发流程。

​累加器用来把Executor端变量信息聚合到Driver端。在 Driver程序中定义的变量，在Executor端的每个Task都会得到这个变量的一份新的副本,每个task更新这些副本的值后，传回 Driver端进行merge。观察一个问题: 原因是数据在executor端执行完毕以后并没有将acc结果数据返回//计算的结果为0sc.stop()解决方案:应该将每个executor执行的结果数据

本文主要介绍了spark常用的转换算子和行动算子，并提供了具体的代码实例进行练习

环比增长率是指两个相邻时段之间某种指标的增长率。通常来说，环比增长率是比较两个连续时间段内某项数据的增长量大小的。