Firefox+python爬取京东评论存入csv
京东是动态页面,之前尝试用selenium获取,没有成功。看了网上其他实例用接口获取评论,尝试后成功了。一、找接口右击网页,打开检查元素,点击网络,刷新一下页面,找到这一条复制上图红笔圈出的网址,打开,可以看到里面是评论接着打开第二页评论,发现规律二、写代码```pythonimport timeimport requestsimport jsonimport csvdef getcome (ur
·
京东是动态页面,之前尝试用selenium获取,没有成功。看了网上其他实例用接口获取评论,尝试后成功了。
一、找接口
右击网页,打开检查元素,点击网络,刷新一下页面,找到这一条
复制上图红笔圈出的网址,打开,可以看到里面是评论
接着打开第二页评论,发现规律
二、写代码
```python
import time
import requests
import json
import csv
def getcome (url):
rep = requests.get(url,headers=header)
rep.encoding = 'GBK'
html = rep.text
#去掉首尾无关字符
jd = json.loads(html.lstrip('fetchJSON_comment98(').rstrip(');'))
for co in jd['comments']:
come = co['content']
times = co['creationTime']
types = co.setdefault('productColor','')#如果找不到购买类别,就为空
csv_writer.writerow([times,types,come])
f = open('D:/JDcomments.csv','w',encoding='utf-8')
csv_writer = csv.writer(f)
csv_writer.writerow(["时间","类别","评论"])
header={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:76.0) Gecko/20100101 Firefox/76.0',
'Referer':"https://item.jd.com/100011516076.html"}
url1='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100011516076&score=0&sortType=5&page='
url2='&pageSize=10&isShadowSku=0&rid=0&fold=1'
for i in range(0,51):
url=url1+str(i)+url2
time.sleep(5)
print(i)#当前页数
getcome(url)
f.close()
#结果被存入csv中,用excel打开前需要先用记事本打开另存一下,再用excel打开,避免中文乱码
``
三、总结
只爬了一个商品的评论,还需要继续探索。
更多推荐
已为社区贡献1条内容
所有评论(0)