1.使用工具python3pymongomongodbseleniumchrome浏览器2.具体分析2.1 URL分析打开京东首页，在搜索框任意输入一个商品名称，这里以华为最新发布的手机华为p50为例，点击搜索，页面如下所示：可能会出现登录界面，可以先登录一下：进入首页后，先记录首页链接，然后连续下滑，可以看到翻页的地方：点击第二页额、第三页、第四页，然后记录下每一页的链接，可以发现如下规律：第一

使用工具介绍python3.8selenium（请确保你已经成功安装了谷歌驱动chromedriver）mongodb数据库mongo-compass谷歌浏览器分析请求链接打开淘宝首页的链接，https://www.taobao.com/如下：这里以商品ipad为例，在搜索框输入ipad，点击搜索，如下所示：复制前四页的链接：找一下规律第一页：https://uland.taobao.com/se

1. Beautiful Soup前面介绍了Beautiful Soup的基本使用方法，请参考文章 爬虫利器BeautifulSoup之CSS选择器的基本使用和Beautiful Soup之find()和find_all()的基本使用，现在搞个实例来验证一下。就以爬取豆瓣电影信息为例吧。2. 分析请求链接打开豆瓣电影top250首页信息如下：下滑到最下方，可以看到一共有10页，F12或右键检查每页