Scrappy shell 没有返回整个页面
Scrappy shell is not returning the whole page
我有以下问题。
当我 运行 这个好斗的 shell:
scrapy shell "http://en.50partners.fr/Startups/"
我希望检索整个页面，不幸的是，当我 运行 view(response) 检索页面时，我检索的是没有启动部分本身的页面。您知道如何解决这个问题吗？
谢谢。
启动部分是动态加载的。
尝试在关闭 JavaScript 的情况下在您选择的浏览器中打开初始页面，您会得到相同的结果。
现在检查此页面的 HTML 可以看到：
<div class="Folder_page_block startups"
data-children-count="46"
data-children-reload-url="http://en.50partners.fr/fiftyPartners/ajax/folder/67/children/%page%/%limit%/%view%"
data-children-view="line">
url 从那里加载数据。
您可能想 fiddle 稍微 url，删除 "children" 之后的所有内容并使用此 URL.
开始另一个请求
生成的响应不是您可能期望的 HTML。您可能想要 import json、运行 json.load(response.text)，并检查结果列表。
玩得开心:)
我有以下问题。
当我 运行 这个好斗的 shell:
scrapy shell "http://en.50partners.fr/Startups/"
我希望检索整个页面，不幸的是，当我 运行 view(response) 检索页面时，我检索的是没有启动部分本身的页面。您知道如何解决这个问题吗？
谢谢。
启动部分是动态加载的。
尝试在关闭 JavaScript 的情况下在您选择的浏览器中打开初始页面，您会得到相同的结果。
现在检查此页面的 HTML 可以看到：
<div class="Folder_page_block startups"
data-children-count="46"
data-children-reload-url="http://en.50partners.fr/fiftyPartners/ajax/folder/67/children/%page%/%limit%/%view%"
data-children-view="line">
url 从那里加载数据。 您可能想 fiddle 稍微 url，删除 "children" 之后的所有内容并使用此 URL.
开始另一个请求生成的响应不是您可能期望的 HTML。您可能想要 import json、运行 json.load(response.text)，并检查结果列表。
玩得开心:)