问题:如何使用beautifulsoup在亚马逊网页上抓取产品详细信息[关闭]

对于网页:http://www.amazon.com/Harry-Potter-Prisoner-Azkaban-Rowling/dp/0439136369/refu003dpd_sim_b_2?ieu003dUTF8&refRIDu003d1MFBRAECGPMVZC5MJCWG我怎么能刮产品python中的详细信息和输出字典。在上述情况下,我想要的 dict 输出将是:

Age Range: 9 - 12 years
Grade Level: 4 - 7
...
...

我是 beautifulsoup 的新手,没有找到好的例子来实现这一点。我想有一些例子可以效仿。

解答

这个想法是在table#productDetailsTable div.content ul liCSS selector的帮助下遍历所有Product Details项目,然后使用粗体文本作为键,并使用下一个兄弟作为值:

from pprint import pprint
from bs4 import BeautifulSoup
import requests

url = 'http://www.amazon.com/dp/0439136369'
response = requests.get(url, headers={'User-agent': 'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2062.120 Safari/537.36'})

soup = BeautifulSoup(response.content)
tags = {}
for li in soup.select('table#productDetailsTable div.content ul li'):
    try:
        title = li.b
        key = title.text.strip().rstrip(':')
        value = title.next_sibling.strip()

        tags[key] = value
    except AttributeError:
        break

pprint(tags)

印刷:

{
    u'Age Range': u'9 - 12 years',
    u'Amazon Best Sellers Rank': u'#1,440 in Books (',
    u'Average Customer Review': u'',
    u'Grade Level': u'4 - 7',
    u'ISBN-10': u'0439136369',
    u'ISBN-13': u'978-0439136365',
    u'Language': u'English',
    u'Lexile Measure': u'880L',
    u'Mass Market Paperback': u'448 pages',
    u'Product Dimensions': u'1.2 x 5.2 x 7.8 inches',
    u'Publisher': u'Scholastic Paperbacks (September 11, 2001)',
    u'Series': u'Harry Potter (Book 3)',
    u'Shipping Weight': u'11.2 ounces ('
}

请注意,一旦我们遇到AttributeError,我们就会打破循环。它发生在li元素内不再有粗体文本之后。