Python 是由 Guido van Rossum 于 1991 年设计的高级解释型通用编程语言。

Python 是动态类型和垃圾收集的。垃圾收集意味着重新获得已分配且当前未在程序的任何部分中使用的内存。

Python 还支持多种编程范式,包括结构化、面向对象和函数式。

Python的特点

• 简单:Python 语法简单明了,易于阅读,代码也很简单。

• 可移植性:在 Windows 机器上编写的 Python 代码可以在其他平台上运行,例如 Unix 和 Linux 系统,也可以在 Mac 上运行。

• 易于调试:只需看一眼代码,您就可以确定错误在哪里。

• 高级语言:python 不关注系统架构或内存管理。

• 面向对象:Python 支持面向对象的语言以及类、对象、继承和封装等概念。

• 大型标准库:Python 有一个巨大的标准库提供模块和函数,因此您不必为每一件事编写代码。

Python的应用

• 人工智能

• 机器学习

• 数据科学、数据工程、探索和可视化。

• 软件开发

• 游戏开发

• 操作系统开发

• 机器人

• 语言开发

安装 Python

从Python 官网下载适用于您操作系统的最新版本 Python。对于 Windows 系统用户,您可以从Digitalocean.com的这篇文章中阅读有关在 windows-10 上设置 python 开发的更多信息。

如果您使用的是 Mac,您可以使用brew和基于 Ubuntu 的桌面,我们建议使用snap。

要了解更多关于python基础的入门知识,可以访问Python官方文档了解更多,w3Schools或这个博客等帮助初学者学习。

如果您正在为数据科学或数据工程设置环境,可以直接使用**Anaconda** 开始。

数据工程是构建/架构数据平台、设计和实施数据存储和存储库、数据湖和收集、导入、清理、预处理、查询、分析数据、性能监控、评估、优化和微调流程和系统。

使用 Python 进行数据工程的关键方面

既然您对 Python 和数据工程有了一个简要的了解,我们就可以提到一些关键方面,这些方面强调了 Python 在数据工程中的重要性。 Python for Data Engineering 主要包括 Data Wrangling,如重塑、聚合、不同格式的源加入、小规模 ETL、API 交互和自动化。

• Python 很流行:它的普遍性是最大的优势之一。 2020 年 11 月,它在 TIOBE 社区指数中排名第二,在 2020 年 Stack Overflow 开发者调查中排名第三。

• 机器学习和 AI 团队也广泛使用 Python:ML、AI 和数据工程密切合作,必须使用同一种语言进行交流,Python 是最常见的一种。

• 大型标准库:库是包的集合,包是模块的集合。由于 Python 的

易用性和用于访问和操作数据和数据库的各种库,它已成为执行 ETL 作业的流行工具。许多团队将 Python 用于数据工程而不是 ETL 工具,因为它对于这些活动更加通用和强大。

• Python 还用于 Apache Airflow 等技术和 Apache Spark 等流行工具的库。如果您打算使用这些工具,了解您使用的语言很重要。

数据工程中常用的 Python 包

• 熊猫

Pandas 是一个用于操作和处理数据帧的 Python 开源包。 Pandas 可以快速轻松地处理、读取、聚合、过滤、重塑数据并将其导出为各种格式。

• SciPy

这是一个使用 Python 进行科学计算的模块。数据工程师依靠它来执行计算和解决问题。

• 美汤

Beautiful Soup 是一个用于网页抓取和数据挖掘的库。它为数据工程师提供了一种从 HTML 页面和 JSON 文件等网站中提取数据的工具。

• Pygrametl

是一个 Python 框架,由于其效率,它为开发提取-转换-加载 (ETL) 流程提供常用功能。

• 宠物

Petl 是一个 Python 库,用于提取、操作和加载数据表的广泛用途。除了支持从 CSV、JSON 和 SQL 导入数据外,它还提供了广泛的功能,只需几行代码即可转换表格。

使用 Python 进行数据工程优于 Java 的优势

• 易用性:虽然 Python 和 Java 都具有表现力,但 Python 更加人性化和简洁。与 Java 相比,Python 可以帮助您编写短行代码。

• 广泛的应用:Python 用于数据科学、大数据、数据挖掘、人工智能和机器学习。这使得 Python 在数据工程中比 Java 更受欢迎。

用于数据工程的 Python 用例

• 数据采集:涉及从 API 或使用 python 通过网络抓取获取数据。 ETL 作业需要 Python 技能才能使用 Airflow 等平台。

PyMoDAQ,一个基于 Python 的开源工具,用于模块化数据采集。

• 数据操作:用于数据工程的 Python 提供了一个 PySpark 接口,允许使用 Spark 集群对大型数据集进行操作。另一方面,Pandas 可用于操作小型数据集。

• 数据建模:Python 是一种在与从事机器学习的团队合作时使用的通用语言,使用诸如 Tensorflow 和 Pytorch 等框架。

总之,Python 是数据工程师和那些也有志成为数据工程师的人的关键语言。数据工程师在日常工作中使用 Python 和 Python 库、包和模块来处理数据和创建数据管道