logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

python常用函数积累(三)

1、stridesndarray数据结构引用两个对象:数据存储区和 dtype对象存储区,具体包括dtype,dim count,dimensions,strides和data。dim count指维度的数目;dimesion指各维度的数字;strides指每个轴的下标增加1时数据存储区中的指针所增加的字节数,比如有个3*3的数 组,元素类型是float32,那么每个数占4(32/8)...

《Spark快速大数据分析》笔记Ch4 键值对操作

键值对 RDD 是 Spark 中许多操作所需要的常见数据类型。本章就来介绍如何操作键值对RDD。键值对 RDD 通常用来进行聚合计算。我们一般要先通过一些初始 ETL(抽取、转化、装载)操作来将数据转化为键值对形式。  本章也会讨论用来让用户控制键值对 RDD 在各节点上分布情况的高级特性: 分区。有时,使用可控的分区方式把常被一起访问的数据放到同一个节点上, 可以大大减少应用的通信开销。这会

#spark#大数据
《Spark快速大数据分析》笔记Ch1、2

Spark快速大数据分析-Spark数据分析导论、Spark下载与入门。

#大数据#spark
到底了