Python 可以称为大数据全栈式开发语言。因为 Python 在云基础设施，DevOps，大数据处理等领域都是炙手可热的语言。只要会 Python，就可以实现一个完整的大数据处理平台。从最底层数据采集、数据存储与冗余备份，数据处理，数据分析，数据建模，可视化以及机器学习，深度学习等等

大数据的基础服务，包括传输系统(Flume和Kafka)，计算调度(Yarn和K8S)以及存储系统(HDFS和HBASE)。

K8S是谷歌开发的容器集群管理系统。在Dockers技术的基础上,为容器化的应用提供部署运

行、资源调度、服务发现和动态伸缩等一些列完整功能 ,提高了大规模容器集群管理的便捷

性。

K8S是一个完备的分布式系统支撑平台，具备完善的集群管理能力,多扩多层次的安全防护和

准入机制、多租户应用支撑能力、透明的服务注册和发现机制、内建智能负载均衡器、强大的

故障发现和自我修复能力、服务滚动升级和在线扩容能力、可扩展的资源自动调度机制以及多

粒度的资源配额管理能力。

在Docker容器技术火热发展的今天，如何将分布在不同物理机上的Docker容器组织、管理、调度起来成为一个急需解决的问题，Kubernetes正是解决这个问题的最佳实践。Kubernetes是一个开源的系统，可以自动部署，扩展和管理运行在Docker容器中的应用程序。Kubernetes可以根据应用程序对资源的需求在集群中创建相应的容器，在容器中启动程序，同时借助于网络插件在不同物理机的容器之间建立通信链接。基于Kubernetes，可以非常便利的将运行在容器中的大数据程序部署和管理起来。