问题:网站上的网页抓取,每个 <div> 的代码都在变化

我正在这个网站上进行一些网络抓取,我在尝试使用的 soup.select 函数中遇到问题。基本上这是他们的 HTML 代码:

<li class="Features_nd-list__item__3hWVx Features_in-feat__item__2-hIE Features_in-feat__item--main__3EFFl RealEstateListCard_in-realEstateListCard__features--main__2uSci">€ 489.000</li>

我需要选择此列表项以获取此广告列出的价格。问题是他们最近更改了 HTMl 代码并包含随机更改其 HTML 代码中每个元素的代码,可能会阻止我正在尝试做的事情......

例子:

<li class="Features_nd-list__item__3hWVx

这个 3hWVx 是不断变化的部分,必须在每次添加中选择每个价格并自动更改代码,我找不到选择它。这是我为 href 找到的解决方案,但我无法解决其他代码部分的问题。

我的代码:

        soup = BeautifulSoup(requests.get(userurl).content, "html.parser")
    for link in soup.select('a[href^="https://www.immobiliare.it/annunci/"]'):
        list_links.append(link["href"])
        list_titles.append(link.get_text(strip=True))
    for link in soup.select('li[class^="Features_nd-list__item__"]'):
        if "€" in link:
            list_prices.append(link.get_text(strip=True))

我希望你们能帮助我,因为这个问题真的很难理解和解决。

谢谢!

解答

尝试:

import requests
from bs4 import BeautifulSoup

# for example this url:
url = "https://www.immobiliare.it/vendita-case/agrigento/"

soup = BeautifulSoup(requests.get(url).content, "html.parser")
list_links = []
list_titles = []
list_prices = []

for ad in soup.select('li[id^="link_ad"]'):
    list_links.append(ad.a["href"])
    list_titles.append(ad.a.get_text(strip=True))
    price = ad.find(lambda t: t.name == "li" and "€" in t.text)
    # alternative:
    # price = ad.select_one('li:-soup-contains("€")')
    list_prices.append(price.text if price else "-")

# pretty print the lists:
for t, p, l in zip(list_titles, list_prices, list_links):
    print("{:<50}  {:<10}  {:<40}".format(t[:50], p, l))

印刷:

Appartamento via Parco Angeli, San Leone, Villaset  € 165.000   https://www.immobiliare.it/annunci/89607425/
Trilocale Cortile Bosio, Centro Storico, Agrigento  € 139.000   https://www.immobiliare.it/annunci/89607405/
Appartamento via Piersanti Mattarella, Via Imera,   € 129.000   https://www.immobiliare.it/annunci/89607367/
Quadrilocale via Empedocle, Centro Storico, Agrige  € 127.000   https://www.immobiliare.it/annunci/89607385/
Bilocale via Atenea, Centro Storico, Agrigento      € 57.000    https://www.immobiliare.it/annunci/89607351/
Quadrilocale piazza Fratelli Rosselli, Via Imera,   -           https://www.immobiliare.it/annunci/89607329/
Quadrilocale viale della Vittoria, Via Imera, V. d  -           https://www.immobiliare.it/annunci/89607437/
Villa unifamiliare viale dei Giardini 67, San Leon  € 680.000   https://www.immobiliare.it/annunci/89595189/
Appartamento via Parco Angeli, San Leone, Villaset  € 165.000   https://www.immobiliare.it/annunci/89566323/
Trilocale Cortile Bosio, Centro Storico, Agrigento  € 139.000   https://www.immobiliare.it/annunci/89566319/
Appartamento via Piersanti Mattarella, Via Imera,   € 129.000   https://www.immobiliare.it/annunci/89566261/
Trilocale via dei Borboni, San Leone, Villaseta, V  € 57.000    https://www.immobiliare.it/annunci/89566253/
Quadrilocale via Empedocle, Centro Storico, Agrige  € 127.000   https://www.immobiliare.it/annunci/89566313/
Bilocale via Michele Lizzi, San Leone, Villaseta,   € 99.000    https://www.immobiliare.it/annunci/89566247/
Bilocale via Atenea, Centro Storico, Agrigento      € 57.000    https://www.immobiliare.it/annunci/89566263/
Quadrilocale piazza Fratelli Rosselli, Via Imera,   -           https://www.immobiliare.it/annunci/89566257/
Appartamento viale della Vittoria, Via Imera, V. d  -           https://www.immobiliare.it/annunci/89566329/
Villa unifamiliare via Vittorio De Sica, San Leone  € 169.000   https://www.immobiliare.it/annunci/89566171/
Trilocale via Michele Amari, San Leone, Villaseta,  € 48.000    https://www.immobiliare.it/annunci/89574519/
Appartamento via Parco Angeli, San Leone, Villaset  € 165.000   https://www.immobiliare.it/annunci/89550179/
Trilocale Cortile Bosio, Centro Storico, Agrigento  € 139.000   https://www.immobiliare.it/annunci/89550131/
Appartamento via Piersanti Mattarella, Via Imera,   € 129.000   https://www.immobiliare.it/annunci/89549999/
Quadrilocale via Empedocle, Centro Storico, Agrige  € 127.000   https://www.immobiliare.it/annunci/89549901/
Appartamento piazza Fontanelle 28, Serraferlicchio  € 78.000    https://www.immobiliare.it/annunci/89524063/
Appartamento viale della Vittoria, Via Imera, V. d  -           https://www.immobiliare.it/annunci/89550241/