在很多时候，我们都在和数据是打交道，所以经常会去做一些数据库连接，比如Mysql、Mongo等等。如果直接把数据库连接写在DAG中，这虽然是可行的，但这会暴露数据库连接等敏感信息，并且当数据库连接信息发生变化时，维护成本也将大大提升。了解ConnectionAirflow提供了Connections 帮助用户管理各种连接（不仅限于数据库连接）。打开Airflow Web，选中Admin Conne

本文主要参考官方文档编写。我将顺着官方文档的流程在本地安装Airflow ，并且附上安装过程的截图。其实官方文档步骤写得都是比较详细，奈何这英语能力真的拉跨。不过还是建议大家在使用过程中遇到的任何问题，优先去查看官方文档，有奇效。​官方文档：https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html生产准备这里Ai

前言scrapy爬虫框架非常好用，如果再配合scrapy-redis进行分布式爬取，爬取速度将进一步提升！本文小结了scrapy-redis的使用方法以及如何将现有爬虫通过scrapy-redis更改为分布式爬虫。使用scrapy-redis改造前：import scrapyclass ExampleSpider(scrapy.Spider):name = 'example'allowed_dom