数据读取读取csv文本文件（csv文件一般编码方式为gbk）pd.read_table(r'路径\info.csv',encoding='编码方式'，seq=',')pd.read_csv(r'路径\info.csv',encoding='编码方式'，seq=',')读取excel文件pd.read_excel(r'路径\detail.xlsx',sheet_name=1,he...

一、 首先认识一些名词在学习数据治理知识之前，首先要明白治理的对象都有哪些，什么才是数据？是1，2，3，4这种纯数字类型的才算数据吗？还是所有的文本数据都是数据？请往下看。1.1 元数据、数据元、数据源、源数据元数据、数据元、数据源、源数据，这几意思毫不相干却都带着一个“yuan”词语，让多初学者抓狂。数据元，标准定义：[GB/T 18391.1－2002，定义3.14] ，用一组属性描述定义、标

目录一、windows下配置pyspark环境1.1 jdk下载安装1.2 Scala下载安装1.3 spark下载安装1.4 Hadoop下载安装1.5 pyspark下载安装1.6anaconda下载安装1.7 测试环境是否搭建成功二、pyspark原理简介三、pyspark使用语法3.1 RDD的基本操作3.2 DataFrame的基本操作3.3 pyspark.sql.functions中

一、数据中台1. 什么是中台？按照数据咨询公司Thoughtworks首席咨询师王健给出的10个字定义，中台就是：“企业级的能力复用平台”“企业级”划定了中台的范围，区分开了单系统的服务化与微服务。“能力”指定了中台的主要承载对象，能力的抽象解释了各种各样中台的存在。“复用”定义了中台的核心价值，过去的平台化对于易复用性并没有给予足够关注。中台的兴起，使得人们的目光更多的从平台内部，转换到平台对于

一、背景在2017年，易观在运营自己6.8Pb大小、6.02亿月活、每天近万个调度任务的大数据平台时，受到ETL复杂的依赖关系、平台易用性、可维护性及二次开发等方面掣肘，易观的技术团队渴望找到一个具有以下功能的数据调度工具：易于使用，开发人员可以通过非常简单的拖拽操作构建ETL过程。不仅对于ETL开发人员，无法编写代码的人也可以使用此工具进行ETL操作，例如系统管理员和分析师;解决“复杂任务依赖”

一、什么是HTTP协议HTTP（超文本传输协议，HyperText Transfer Protocol)是互联网上应用最为广泛的一种网络协议。所有的WWW文件都必须遵守这个标准。通常，由HTTP客户端发起一个请求，建立一个到服务器指定端口（默认是80端口）的TCP连接。HTTP服务器则在那个端口监听客户端发送过来的请求。一旦收到请求，服务器（向客户端）发回一个状态行，比如"HTTP/1.1 2..