这里是用 urllib 来抓取页面源代码, 这是python内置的一个模块, 但是, 它并不是我们常用的爬虫工具, 常用的抓取页面的模块通常使用一个第三方模块request, 这个模块的优势就是比urllib还要简单, 并且处理各种请求都比较方便。爬虫, 也称网网络爬虫(网络机器人), 是一种按照一定的预设规则, 自动浏览并抓取网络数据的程序或脚本.这里的信息表示的是用户使用什么设备发送本次请求,

/ 将[beg, end)区间中的数据拷贝给本身assign(n, elem);// 重新指定容器的长度为num,若容器变长,则以elem填充新位置.若容器变短,则末尾超出容器长度的元素被删除。reserve(n): 强制将容器元素个数调整为n – 不足则补默认构造的元素,多余则删除尾部元素,size() 和 capacity() 可能同时变化。// 重新指定容器的长度为num,若容器变长,则以默

元组是不可变的序列, 类似于列表, 但创建后不能修改元组名称 = (元素1, 元素2, ...)# 定义空元组元组名称 = ()元组名称 = tuple()定义1: 集合名 = {元素1, 元素2, 元素3...}定义2: 集合名 = set()空集合的定义不可以使用{}, {}表示的是空字典字典名称 = {key: value, key: value, key: value ...}# 空字典字

Spark 是 Apache 基金会旗下的顶级开源项目, 用于对海量数据进行大规模分布式计算PySpark 是Spark 的Python实现 ,是Spark 为python开发者提供的编程入口, 用于以Python 代码完成spark 任务的开发pyspark 不仅可以作为python第三方库使用, 也可以将程序提交到spark 集群环境中, 调度大规模集群进行执行。

PySpark 支持通过 SparkContext 对象的paralelize 成员方法, 将 list, tuple, set, dict, str 转换为 PySpark 的RDD 对象。RDD 全称为: 弹性分布式数据集 (Resilient Distributed Datasets)PySark 也支持通过SparkContext 入口对象, 来读取文件, 来构建出RDD对象。PySpar

(A) → A 总结起来的意思是: 这是一个方法, 这个方法接受一个参数传入, 传入参数类型不限.返回一个返回值, 返回值和传入参数类型一致。(T) → U 总结起来的意思是: 这是一个方法, 这个方法接受一个参数传入, 传入参数类型不限.返回一个返回值, 返回值类型不限.功能: map算子, 是将RDD的数据一条条处理, (处理的逻辑基于map算子中接收的处理函数), 返回新的RDD。对于返回值

功能: 将 RDD 各个分区内的数据, 统一收集到Driver 中, 形成一个 LIst 对象。功能: 将 RDD 的数据写入文本文件中 , 支持本地写入, hdfs 等文件系统。功能: 取出 RDD 的前 N 个元素, 组成 list 返回。功能: 计算RDD 有多少条数据, 返回值是一个数字。功能: 对RDD对象根据传入的逻辑进行聚合。这种写法也可以写在spark的创建步骤中。

python中是通过缩进来描述代码归属的, 归属于 if 代码块的语句, 需要在前方缩进4 个空格 (按 tab键)结构模式匹配就是用一个清晰的模式去精准的匹配数据的结构和内容, 匹配成功则执行相应的操作。break跳出循环之后, while 后面的 else 语句将不会执行。只能出现在循环中, 表示跳出本次循环, 直接进入下一次循环。while 循环是通过条件表达式来控制是否进行下一次循环。判断

/ 将[beg, end)区间中的数据拷贝给本身assign(n, elem);// 重新指定容器的长度为num,若容器变长,则以elem填充新位置.若容器变短,则末尾超出容器长度的元素被删除。reserve(n): 强制将容器元素个数调整为n – 不足则补默认构造的元素,多余则删除尾部元素,size() 和 capacity() 可能同时变化。// 重新指定容器的长度为num,若容器变长,则以默

函数是一个完成某项特定任务的一小段代码,这段代码是有特殊的写法和调用方法的。