Google发表了两篇论文《Google File System》 《Google MapReduce》《Google File System》简称GFS，是Google公司用于解决海量数据存储的文件系统。《Google MapReduce》简称MapReduce,是Google的计算框架，基于GFS。MapReduce是一个分布式运算程序的框架重要组成部分，是用户开发“基于Hadoop HDFS

网络爬虫也叫网络蜘蛛，如果把互联网比喻成一个蜘蛛网，那么蜘蛛就是在网上爬来爬去 的蜘蛛，爬虫程序通过请求url地址，根据响应的内容进行解析采集数据简单的说：就是用代码模拟人的行为，去各各网站溜达、点点按钮、查查数据。或者把看到的数据拿下来。Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为