如何从 url 中有日期的多个页面中提取数据？

Question

我想从 link 如下的网站中提取内容：

"www.example.com/getpublicreport?date=2021-10-01"

使用请求从多个页面中提取数据的代码应该是什么，我可以使用 url 中的日期进行导航。

例如，如果我想提取从日期 - 2019-01-01 到当前数据的数据，我该如何使用请求库编写代码来获取数据。

Answer 1

www.example.com/getpublicreport?date=2021-10-01

这是带有参数的 URL 的示例，requests 确实有 params，您应该在其中提供带有键值对的字典。您可以按如下方式访问它

import requests
url = "http://www.example.com/getpublicreport"
parameters = {"date": "2021-10-01"}
r = requests.get(url, params=parameters)
print(r.url)  # http://www.example.com/getpublicreport?date=2021-10-01

如果您想了解更多关于 URL 的信息，请阅读 RFC1738。

Answer 2

您好，您可以使用日期时间包:)

例如：

import datetime

import requests


def extract_data(start_date, end_date):
    while start_date <= end_date:
        yield requests.get('www.example.com/getpublicreport?date=%s' % start_date.isoformat())
        start_date += datetime.timedelta(days=1)

if __name__ == '__main__':
    for r in extract_data(datetime.date(2019, 01, 01), datetime.date.today()):
        print(r.content)

如何从 url 中有日期的多个页面中提取数据？

How to extract data from multiple pages which have date in their url?

python

beautifulsoup

request

web-scraping

python-requests