我们知道，搜索引擎数据库中的所有网页，都是由Robot程序自动抓取收录的。不过，对于这些所谓的Spider或Robot究竟以怎样的机制在网站内爬行、收录网页则可能很多人就不太清楚了。自本文开始，我们将逐步介绍这方面的一些情况。　　本文我们将首先介绍Google的Robot，包括Google最重要的几种Robot类型、相应的功能以及如何控制它们以保证网站优化效果。　　只要打开您的

      我们知道，搜索引擎数据库中的所有网页，都是由Robot程序自动抓取收录的。不过，对于这些所谓的Spider或Robot究竟以怎样的机制在网站内爬行、收录网页则可能很多人就不太清楚了。自本文开始，我们将逐步介绍这方面的一些情况。　　本文我们将首先介绍Google的Robot，包括Google最重要的几种Robot类型、相应的功能以及如何控制它们以保证网站优化效果。　　只要打开您的