Beautifulsoup 收到超时消息

Question

我正在尝试获取 beautifulsoup 网站的搜索结果。 URL 是：https://www.wg-gesucht.de/wg-zimmer-in-Muenster.91.0.1.0.html

当您在浏览器中访问该站点时，您会在没有登录等情况下看到搜索结果。但是，当我打印结果时，网站出现错误：“ Ihre Anfrage scheint abgelaufen zu sein。 “

"<h4 class="modal-title text-info text-uppercase" id="time_out_modal_label">
                    Ihre Anfrage scheint abgelaufen zu sein.
                </h4>"

然后它会告诉您重新加载页面并重试。

def getPage(search_url):
   resp = requests.get(search_url)
   return BeautifulSoup(resp.content, 'html.parser')

Answer 1

通过 requests 加载页面似乎正常。当我查看源代码时，有 Ihre Anfrage scheint abgelaufen zu sein. 模态对话框，但每个请求中都有该对话框（并隐藏在普通浏览器中）：

import requests
from bs4 import BeautifulSoup

url = ' https://www.wg-gesucht.de/wg-zimmer-in-Muenster.91.0.1.0.html'

soup = BeautifulSoup(requests.get(url).text, 'html.parser')

for headline in soup.select('h3.headline.noprint'):
    print(headline.get_text(strip=True))

打印：

WG Zimmer in perfekter Lage
Möbliertes 17 qm Zimmer direkt am Hafen, zentral
WG-Zimmer in der Innenstadt
WG-Zimmer im Kreuzviertel
Schönes WG-Zimmer zur Zwischenmiete in zentraler Lage
Zimmer frei am Aasee!
Kleines, aber feines möbliertes WG-Zimmer im Zentrum ab dem 01.09
zentrales 14 qm Zimmer frei zur Zwischenmiete bis Oktober
Großes möbliertes Zimmer in 2er WG zur Zwischenmiete
25 m² Zimmer in 3er WG im Zentrum MS
Schönes WG-Zimmer zur Zwischmiete :)
17 qm am Hafen in 4er WG
WG im Gievenbeck zur Untermiete
Möbliertes WG-Zimmer zur Zwischenmiete in TOP Lage
Zwischenmiete einen Monat in 3er WG  Centrums- und Bahnhofsnähe
Perfekt als Übergang zur Wohnungssuche! Möbliertes 18 qm Zimmer für September in netter 3er WG, direkt im Kreuzviertel
WG-Zimmer zur Zwischenmiete in perfekter Lage
Preisgünstiges Zimmer im Kreuzviertel
Helles 22qm-Zimmer in sehr zentraler Berufstätigen-WG
Modernes WG-Zimmer in 4-er WG

Beautifulsoup 收到超时消息

Beautifulsoup gets timeout message

python

beautifulsoup

telegram