logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据处理 — 浅析MapReduce之shuffle

浅析MapReduce -> shuffleshuffle的意思就是洗牌,它是MapReduce的核心,也是被称为奇迹发生的地方,因为MapReduce玩的就是洗数据,然后让数据出现在该出现的位置.官方描述的shuffle过程,我们不太可能明白shuffle的过程,因为它与事实相差挺多的,细节也是错乱的. 我们现在这样理解就可以了, shuffle描述着数据从map task输出到r

大数据处理 — mapreduce的简易见解

大数据处理  — mapreduce的简易见解MapReduce是一种编程模型,用于大规模数据集的并行运算. 概念 Map(映射)和 Reduce(归约), 是他们的主要思想,它极大方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上. 当前的软件实现是指定一个Map(映射)函数,用来把一组键值对(Mapper的输入键值)映射成一组新的键值对(Mapper的输出键值),指定并

操作系统 — 浅析基于glibc的malloc

浅析基于glibc的mallocLinux的虚拟内存管理有几个关键概念:

数据结构 — 浅析红黑树原理以及实现

浅析红黑树原理以及实现我们在上一篇博客认识到了平衡二叉树(AVLTree),了解到平衡二叉树的性质,其实平衡二叉树最大的作用就是查找,AVL树的查找、插入和删除在平均和最坏情况下都是O(logn)。AVL树的效率就是高在这个地方。如果在AVL树中插入或删除节点后,使得高度之差大于1。此时,AVL树的平衡状态就被破坏,它就不再是一棵二叉树;为了让它

大数据处理 — mapreduce的简易见解

大数据处理  — mapreduce的简易见解MapReduce是一种编程模型,用于大规模数据集的并行运算. 概念 Map(映射)和 Reduce(归约), 是他们的主要思想,它极大方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上. 当前的软件实现是指定一个Map(映射)函数,用来把一组键值对(Mapper的输入键值)映射成一组新的键值对(Mapper的输出键值),指定并

大数据处理 — 浅析MapReduce之shuffle

浅析MapReduce -> shuffleshuffle的意思就是洗牌,它是MapReduce的核心,也是被称为奇迹发生的地方,因为MapReduce玩的就是洗数据,然后让数据出现在该出现的位置.官方描述的shuffle过程,我们不太可能明白shuffle的过程,因为它与事实相差挺多的,细节也是错乱的. 我们现在这样理解就可以了, shuffle描述着数据从map task输出到r

Linux — 信号 信号处理和信号处理函数详解(一)

信号处理(一)在Linux下当我们想强制结束一个程序的时候,我们通常会给它发送一个信号然后该进程捕捉到信号,再然后该进程执行一定操作最终被终止.信号是UNIX和Linux系统响应某些条件而产生的一个事件,接收到该信号的进程会相应地采取一些行动。通常信号是由一个错误产生的。但它们还可以作为进程间通信或修改行为的一种方式,明确地由一个进程发送给另一个进程。一个信号的产生叫生成,接收到一个信号叫捕获。信

STL — map容器用法的详解

成员函数at查找具有指定键值的元素。begin返回一个迭代器,此迭代器指向映射中的第一个元素。cbegin返回一个常量迭代器,此迭代器指向映射中的第一个元素。cend返回一个超过末尾常量迭代器。clear清除映射的所有元素。count返

到底了