如何使用请求模块在搜索栏中输入信息？

Question

我正在尝试从该网站抓取数据：https://www.ncbi.nlm.nih.gov/Taxonomy/Browser/wwwtax.cgi

我有一个科学物种名称列表，我想在搜索栏中一一输入，然后使用 HTML 解析器从页面中提取相关信息。我似乎不知道如何在搜索栏中输入字符串。这可能使用请求模块还是我应该为此使用另一个模块？搜索栏的 HTML 行如下所示：

<input id="searchtxt" type="text" name="name" value="" size"">

如果我手动搜索网页，则该行如下所示：

<input id="searchtxt" type="text" name="name" value="Hyperia galba" size"">

奇怪的是 URL 在搜索后没有改变。

Answer 1

使用这个 url：https://www.ncbi.nlm.nih.gov/Taxonomy/Browser/wwwtax.cgi?name=

无需将内容放入搜索栏即可进行搜索

示例：

import requests

q = "Phage E"
url = f'https://www.ncbi.nlm.nih.gov/Taxonomy/Browser/wwwtax.cgi?name={q}'
info = requests.get(url)
print(info.text)