如何让请求等待 302 重定向在 Python 内完成?
How can I make Requests wait for a 302 redirection to finish in Python?
我是网络抓取的新手,我正在尝试从网站获取一些数据,但是当你输入它时有一个等待队列(当我在真正的浏览器中尝试时可能大约 15 秒),这是另一个 url.
在 Python 中使用 Requests 时,我永远不会被重定向到真正的 url,即使它是 302 重定向(这应该是临时的)。
使用此代码:
s = requests.Session()
r = s.get(store, allow_redirects=True, headers=headers)
print(r.status_code)
print(r.history)
我得到:
200
[<Response [302]>]
如果我输入 allow_redirects=False
,我只会得到一个空白页。
在使用 bs4 获取我想要的数据之前,如何等待等待队列完成,并将我重定向到真实站点?
我试图将它插入一个循环中以每隔 x 秒检查一次 r.url
,但它永远不会改变。还尝试每 x 秒 get
但结果相同。
似乎,响应包含一个 javascript 做重定向的事情...
所以您可能需要阅读 r.text、
中的重定向 url
我是网络抓取的新手,我正在尝试从网站获取一些数据,但是当你输入它时有一个等待队列(当我在真正的浏览器中尝试时可能大约 15 秒),这是另一个 url.
在 Python 中使用 Requests 时,我永远不会被重定向到真正的 url,即使它是 302 重定向(这应该是临时的)。
使用此代码:
s = requests.Session()
r = s.get(store, allow_redirects=True, headers=headers)
print(r.status_code)
print(r.history)
我得到:
200
[<Response [302]>]
如果我输入 allow_redirects=False
,我只会得到一个空白页。
在使用 bs4 获取我想要的数据之前,如何等待等待队列完成,并将我重定向到真实站点?
我试图将它插入一个循环中以每隔 x 秒检查一次 r.url
,但它永远不会改变。还尝试每 x 秒 get
但结果相同。
似乎,响应包含一个 javascript 做重定向的事情... 所以您可能需要阅读 r.text、
中的重定向 url