提示：[root@gxd08 airflow]# yum install mysql-develLoaded plugins: langpacks, versionlockRepository base is listed more than once in the configurationRepository updates is listed more than once in the co

在python中使用pyspark并不是单纯的导入pyspark包就可以实现的。需要由不同的环境共同搭建spark环境，才可以在python中使用pyspark。搭建pyspark所需环境：python3，jdk，spark，Scala，Hadoop（可选）一、下载并配置环境变量1.1 jdk下载地址：http://www.oracle.com/technetwork/java/java...

在mac下搭建pyspark需要安装的有：1.JAVA JDK2.Scala3.apache-spark4.Hadoop(可选)5.pyspark安装上面几个可以选择去官网下载安装包，解压后再自行配置环境变量。也可以选择使用brew进行安装，比较方便的一种安装方式。如果你的电脑上没有安装brew的话，可以参考下面这篇文章进行安装brew，还是比较方便的。https://www.jianshu.co

基本步骤是利用requests模块经过路径解析后获取播放地址，然后通过ffmpeg工具进行转码保存。注：“https://jx.618g.com/?url=”是一个可进行免费解析的网站准备过程从官网下载ffmpeg文件，保存到本地，无需安装:Windows下安装FFMPEG，下载之后需要配置环境变量FFmpeg是一套用来记录、转换数字音频、视频的计算机开源程序。他提供了录制、转换以及流化...

一、XML的介绍使用正则来提取网页中的数据虽然效率很快，但是使用起来 比较复杂，在此就有另一种进行网页数据提取的方法就是使用xpath来进行。（1）先将 HTML文件 转换成 XML文档;（2）然后用 XPath 查找 HTML 节点或元素。1、什么是XMLXML 指可扩展标记语言（EXtensible Markup Language）XML 是一种标记语言，很类似 HTMLXM...

数据读取读取csv文本文件（csv文件一般编码方式为gbk）pd.read_table(r'路径\info.csv',encoding='编码方式'，seq=',')pd.read_csv(r'路径\info.csv',encoding='编码方式'，seq=',')读取excel文件pd.read_excel(r'路径\detail.xlsx',sheet_name=1,he...

一、 首先认识一些名词在学习数据治理知识之前，首先要明白治理的对象都有哪些，什么才是数据？是1，2，3，4这种纯数字类型的才算数据吗？还是所有的文本数据都是数据？请往下看。1.1 元数据、数据元、数据源、源数据元数据、数据元、数据源、源数据，这几意思毫不相干却都带着一个“yuan”词语，让多初学者抓狂。数据元，标准定义：[GB/T 18391.1－2002，定义3.14] ，用一组属性描述定义、标

目录一、windows下配置pyspark环境1.1 jdk下载安装1.2 Scala下载安装1.3 spark下载安装1.4 Hadoop下载安装1.5 pyspark下载安装1.6anaconda下载安装1.7 测试环境是否搭建成功二、pyspark原理简介三、pyspark使用语法3.1 RDD的基本操作3.2 DataFrame的基本操作3.3 pyspark.sql.functions中

一、数据中台1. 什么是中台？按照数据咨询公司Thoughtworks首席咨询师王健给出的10个字定义，中台就是：“企业级的能力复用平台”“企业级”划定了中台的范围，区分开了单系统的服务化与微服务。“能力”指定了中台的主要承载对象，能力的抽象解释了各种各样中台的存在。“复用”定义了中台的核心价值，过去的平台化对于易复用性并没有给予足够关注。中台的兴起，使得人们的目光更多的从平台内部，转换到平台对于

一、背景在2017年，易观在运营自己6.8Pb大小、6.02亿月活、每天近万个调度任务的大数据平台时，受到ETL复杂的依赖关系、平台易用性、可维护性及二次开发等方面掣肘，易观的技术团队渴望找到一个具有以下功能的数据调度工具：易于使用，开发人员可以通过非常简单的拖拽操作构建ETL过程。不仅对于ETL开发人员，无法编写代码的人也可以使用此工具进行ETL操作，例如系统管理员和分析师;解决“复杂任务依赖”