--------[pair]表示一个元组 ;如("ty",12)   With必须添加分区的类型------------------------------------------aggregate                                    :聚合每个分区的值。每个分区中的聚合变量都是用零值初始化的。aggregateByKey [Pair]   

hadoop集群正常启动，日志无任何错误。而8088端口不能访问。则需要为yarn-site.xml文件添加一下属性。并重新执行start-yarn.sh。修改配置文件---yarn-site.xml，将下列属性添加<property><name>yarn.resourcemanager.address</name&gt

Faithfully yours, nginx

通过/spart-submit提交任务时，报WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources问题。且一直重试该操作。该问题spark集群没有资源可用。在本机测试情况下，虚拟机给2G的内存，那么spark中可设定为1G，这样就可以成功将任务运行完成。具体操作：找到spark下的...

通过/spart-submit提交任务时，报WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources问题。且一直重试该操作。该问题spark集群没有资源可用。在本机测试情况下，虚拟机给2G的内存，那么spark中可设定为1G，这样就可以成功将任务运行完成。具体操作：找到spark下的...

虚拟机安装报错kernel panic - not syncing fatal exception.需要升级virtualBox 版本为6.1.10。并将vagrant 升级为2.2.9版本卸载以前安装的这两个软件。从新安装一遍就可以了。