XXL-JOB是一个轻量级分布式任务调度平台，主打特点是平台化，易部署，开发迅速、学习简单、轻量级、易扩展，代码仍在持续更新中。调度中心任务调度控制台，平台自身并不承担业务逻辑，只是负责任务的统一管理和调度执行，并且提供任务管理平台执行器负责接收“调度中心”的调度并执行，可直接部署执行器，也可以将执行器集成到现有业务项目中。通过将任务的调度控制和任务的执行解耦，业务使用只需要关注业务逻辑的开发。X

WebMagic框架包含四个组件，SchedulerDownloader和Pipeline。这四大组件对应爬虫生命周期中的处理、管理、下载和持久化等功能。这四个组件都是Spider中的属性，爬虫框架通过Spider启动和管理。WebMagic总体架构图。