Python BeautifulSoup/Requests 循环浏览页面 - 不起作用

Question

我已经尝试过论坛中的循环访问多个网页的建议，但它不起作用：

for i in range(1,5):
    url = f'https://www.xxxx.com/?page={i}' # just a random web page
    result = requests.get(url).text
    doc = BeautifulSoup(result, 'html.parser')

它只给出第一页结果，所以 https://www.xxxx.com/?page=1

这里有什么问题吗？

Answer 1

如果您提供 Error StackTrace 将非常有帮助。一般来说，一次循环抓取多个页面是可以的。

这是一个适用于任意网页的代码。

#!pip install requests
#!pip install beautifulsoup4

import requests
from bs4 import BeautifulSoup as bs
page = 1
titles = []
for i in range(1,5):
      url = f"https://www.bookdepository.com/bestsellers?page={page}"
      response = requests.get(url)
      html = response.content
      soup = bs(html, "lxml")
      for h3 in soup.find_all("h3", class_="title"):
            titles.append(h3.get_text(strip=True))
      page = page + 1

print(titles)

一个简单的 google 搜索揭示了代码。 https://data36.com/scrape-multiple-web-pages-beautiful-soup-tutorial/

范围已修改，如您的示例所示。

Python BeautifulSoup/Requests 循环浏览页面 - 不起作用

Python BeautifulSoup/Requests Loop through pages - doesn't work

python

beautifulsoup

python-requests