logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

小肥柴的Hadoop之旅

从门外汉边学边上课,到入门的菜鸡,对如何正确的学习Hadoop有了一点点自己的理解和感想,遂做成一个教程方便同学们在线学习(努力避免误人子弟),同时与网友们分享交流。(2)学习Hadoop要有较为扎实的Java语言、数据结构与算法、计算机网络、软件工程(特别是各种设计模式)和操作系统基础知识,能做到心中有概念,现学现用即可。(4)多看源码、多思考、多验证、多练习;【声明】我的博客内容是参考了《Ha

文章图片
#hadoop#大数据#分布式
快速实验篇(A3)基于 Hive 的气象数据数仓构建与干旱指标初步分析

文章摘要 本文介绍了在2GB内存的Hadoop集群上使用Hive构建气象数据仓库并进行干旱指标分析的实践。重点阐述了在资源受限环境下如何通过内存估算和安全策略来避免OOM问题。作者详细分析了MapReduce作业各阶段(Map、Shuffle、Reduce)的内存消耗模型,特别针对分组聚合场景提出了Reducer内存估算公式。通过合理设置容器内存参数(256MB JVM堆)和分区策略,成功在低配置

#hadoop#分布式#大数据
小肥柴慢慢手写数据结构(C篇)(5-1 二叉搜索树)

在前面的学习中,我们讨论的数据结构一般操作的时间复杂度在O(n)级别;于是人们开始思考:是否能够设计一种不同于已有的数据结构(线性表)去实现更高效的操作呢?答案自然是树了。

文章图片
#数据结构
小肥柴慢慢手写数据结构(C篇)(4-1 队列Queue)

小肥柴慢慢手写数据结构(C篇)(3-4 队列Queue)目录3-6 括号匹配(平衡符号)目录3-6 括号匹配(平衡符号)在黑皮书P52中,这个问题被称为“平衡符号”,而在严版教材P49中设为3.2.2 括号匹配的检验,问题本质是一样的。【问题描述】编译器会检查当前代码中括号是否都能成对出现,否则会造成编译问题,也就是说:“[()]”是合法的,而“[(])”是非法的。【思考】这个问题明显可以用栈去解

#数据结构#c语言#链表
小肥柴慢慢手写数据结构(小肥柴慢慢手写数据结构(1-番外1 经典问题))

小肥柴慢慢手写数据结构(0-2 经典问题)目录0-5 讨论问题的初衷0-6 问题(1)最大公约数问题(GCD,欧几里得算法)0-7 问题(2)数值的整数次方(幂运算)0-8 问题(3)斐波那契数列0-9 问题(4)最大子序列和(重要的切入点)0-10 小结目录0-5 讨论问题的初衷(1)讨论问题的范围:(黑皮书第1、2章)查询、递归、动态规划案例。(2)讨论问题的目的:通过经典问题帮助大家找回编程

文章图片
#数据结构
小肥柴慢慢手写数据结构(C篇)(3-1 Stack栈简介)

小肥柴慢慢手写数据结构(C篇)(3-1 Stack栈)目录3-1 栈的概念3-2 栈的动态数组实现3-3 栈的链表实现3-4 时间复杂度3-5 实际项目案例目录3-1 栈的概念3-2 栈的动态数组实现使用之前实现的动态数组,要点如下:(1)仅在数组尾部进行push和pop操作;(2)动态数组的标记topIndex标记top元素;(3)pop操作并没有将元素真正剔除出数组,只是使用topIndex屏

#数据结构
小肥柴慢慢手写数据结构(C篇)(2-2 单链表 SingleLinkedList self版实现(2)--链表反转与head/tail讨论)

小肥柴慢慢手写数据结构(C篇)(2-2 单链表 SingleLinkedList self版实现--链表反转与head/tail讨论)目录2-5 啥是链表反转?2-6 常见的反转四种方法2-7 head与tail的讨论2-8 总结与反思目录2-5 啥是链表反转?如图所示,就是把原来的链表逆序重新组装起来。建议学习时请遵循:“先画图,弄清步骤再写代码”的原则,一定不能死背代码,要靠自己把反转逻辑推导

#数据结构
小肥柴慢慢手写数据结构(C篇)(1-1 线性表 ArrayList 原始版本)

小肥柴慢慢手写数据结构(C篇)(1-1 线性表 ArrayList 原始版本)目录1-1 为啥要有线性表1-2 自己出列一个单子(ADT),看看要做什么1-3 边想边写1-4 反思一下目录1-1 为啥要有线性表许多低年级计算机类专业的朋友受限于各类原因,编程基础不扎实,学《数据结构》/算法课,直接上清华严版的数据结构很容易复现从入门到翻车最后放弃的流程。自己翻看一些经典教材和资料后,觉得还是从零开

文章图片
#数据结构
小肥柴慢慢手写数据结构(C篇)(0-开篇的话)

许多低年级计算机类专业的朋友受限于各类原因,编程基础不扎实,学《数据结构》/算法课,直接上清华严版的数据结构很容易复现从入门到翻车最后放弃的流程。自己翻看一些经典教材和资料后,觉得还是从零开始对照原理手动编出代码后,再返回去看严版数据结构这本工具书,适度刷刷算法题 (比如Leecode),或许对大家学习DS这门课能有帮助和提升。

文章图片
#数据结构
小肥柴慢慢手写数据结构(C篇)(2-1 单链表 SingleLinkedList self版实现(1))

小肥柴慢慢手写数据结构(C篇)(2-1 单链表 SingleLinkedList self版实现)目录2-1 为啥要有链表2-2 出列ADT2-3 边想边写2-4 反思一下目录2-1 为啥要有链表在1篇中“动态”数组ArrayList的学习中,我们发现这个动态是依靠resize操作实现的,非真正意义上的动态,因为我们需要随时关注size和capacity之间的关系。虽然ArrayList的查询效率

#数据结构
    共 11 条
  • 1
  • 2
  • 请选择