logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

数据结构:邻接矩阵和邻接表的区别

本文对比了图的两种主要存储结构:邻接矩阵和邻接表。邻接矩阵使用N×N二维数组存储边权值,适合稠密图,能快速查询边但空间复杂度高;邻接表采用数组+链表结构,仅存储实际边,适合稀疏图,便于遍历邻居但查询边效率较低。在最小生成树算法中,邻接矩阵适合朴素Prim算法处理稠密图,邻接表则适用于堆优化Prim和Kruskal算法处理稀疏图。实际应用中应根据图规模、密度及操作需求选择合适的存储方式,邻接矩阵适合

文章图片
#数据结构
Chapter1:Spark的基本介绍

Spark大数据处理技术简介(一)

文章图片
#spark#大数据
第2章:Spark集群安装与部署

本章详细分析Spark运行模式的设计与实现, 重点介绍Spark的几种运行模式和原理,并分析了Spark和Yarn的结合。Spark以多种模式运行,可以在独立机器上以本地模式或伪分布式模式运行。当集群以分布式模式运行时,底层资源调度可以使用Mesos或Yarn,也可以使用Spark的Standalone模式本身。在每个模式之前,介绍一些基本概念和模型。当Spark应用程序运行时,首先。

文章图片
#spark#javascript#大数据
Chapter 4:RDD(非弹性分布式数据集)在spark中的作用

在集群的背后,有一个非常重要的分布式数据结构,这就是弹性分布式数据集(RDD)。作为一个逻辑上集中的实体,它在集群中的多台机器上运行数据分区。通过控制多台机器上不同的RDD分区,可以减少机器之间的数据变换。RDD是Spark的核心数据结构,通过RDD的依赖关系形成Spark的调度顺序。RDD的操作构成了整个Spark程序。本章的重点是RDD。RDD(弹性分布式数据集)是Spark的核心底层抽象。R

文章图片
#分布式#spark#大数据
Chapter 5:DAG and Job Execution(Spark的内容操作流程)

Spark Job主要阐述了Spark的内容操作流程以及不提交RDD后各流程的操作原理等Spark计算逻辑。Shuffle描述了从map任务输出数据到reduce任务输入的过程。Shuffle是Map和Reduce之间的桥梁。Map输出必须在Reduce中使用以通过shuffle链接。shuffle一般分为两个部分:Map阶段的数据准备和Reduce阶段的数据拷贝处理。map侧的Shuffle通常

文章图片
#spark#ajax#javascript
Flink第一章:Flink概述

Apache Flink是一个分布式流处理框架,支持无界和有界数据流的高性能计算。它以低延迟、高吞吐和精确一次的状态一致性为特点,提供分层API(包括SQL、Table API、DataStream/DataSet API)满足不同开发需求。Flink起源于Stratosphere项目,2014年成为Apache顶级项目,并在阿里巴巴支持下快速发展。相比Spark Streaming的微批处理模式

文章图片
#flink#大数据
Flink测试题目及知识点整理(一)

Flink核心知识点解析,便于期末复习

文章图片
#flink#大数据
    共 25 条
  • 1
  • 2
  • 3
  • 请选择