logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

深入解读 Spark 宽依赖和窄依赖(ShuffleDependency & NarrowDependency)

目前,网上有关宽窄依赖的博客大多都使用下面这张图作为讲解:实际上,这幅图所表达的内容并不完善。其中,窄依赖的内容表达的不够全面,而宽依赖的部分容易让人产生误解。本文,我将用新的绘图带大家搞清楚究竟什么是宽依赖(ShuffleDependency),什么是窄依赖(NarrowDependency)。为什么会有宽窄依赖?我们知道,在 Spark 中,数据抽象表示为统一的数据模型 RDD。每一次对 RD

#spark#大数据
JavaMail 发送邮件阻塞问题解决——设置 smtp 超时时间

一. 起因最近发现项目中有关发送邮件的模块偶尔会阻塞住,导致整个线程阻塞。诡异的是没有捕获到任何异常日志,程序莫名其妙就卡在了 sendMail 上。后来想到发送邮件的内容过大,可能由于这个原因导致,所以找了一下有关 JavaMail 超时设置的资料。现做整理,顺便聊聊一些小坑。二. JavaMail smtp 超时参数参数类型描述mail.smtp.connecti...

深入解读 Spark 宽依赖和窄依赖(ShuffleDependency & NarrowDependency)

目前,网上有关宽窄依赖的博客大多都使用下面这张图作为讲解:实际上,这幅图所表达的内容并不完善。其中,窄依赖的内容表达的不够全面,而宽依赖的部分容易让人产生误解。本文,我将用新的绘图带大家搞清楚究竟什么是宽依赖(ShuffleDependency),什么是窄依赖(NarrowDependency)。为什么会有宽窄依赖?我们知道,在 Spark 中,数据抽象表示为统一的数据模型 RDD。每一次对 RD

#spark#大数据
SpringBoot微服务的https配置方法(即微信小程序后台服务搭建解决方案)

最近接触了一个有关微信小程序的项目。有关小程序后台服务的https配置踩了不少坑,折腾了一两天时间,终于实现了小程序后台服务的部署。这里就总结一下基于微信小程序,有关SpringBoot后台的配置方案。

#微信小程序#https
Linux基本操作系列(一):在CentOS 6.8安装JDK(Java环境)

最近由于工作需要,自行学习Linux操作系统基本操作。本系列将记录学习过程,及遇到问题的解决方案,以供记录和分享。如何在CentOS 6.8系统上安装JDK?一、检查系统上是否安装JDK命令:java -version如果出现如下提示,则说明系统上已经安装了JDK[root@localhost ~]# java -versionopenjdk version "1.8.0_131"Ope

#java#linux
前端js用js-xlsx插件读取xlsx表格内容

本文欢迎转载,转载请注明出处,谢谢! http://blog.csdn.net/colton_null 作者:喝酒不骑马 Colton_Null from CSDN插件github地址:https://github.com/SheetJS/js-xlsxdemo<!DOCTYPE html><html><head><meta charset="UTF-8"><script src="

#前端
到底了