爬虫设计方案爬取目标成都链家的二手房和成交数据。由于web版看不到最新的成交金额数据，因此需要用手机版的数据。成交数据应该去重，可以做成每天增量爬取。需要做成每天爬取一次，定时执行参考文章技术方案使用Scrapy框架，实现spider部分和pipeline部分。拦截手机版网络请求，获取Cookie信息，模拟手机请求拿到未隐藏的成交数据。GET /cd/chengjiao/ HTTP/