如何使用 Python 抓取特定 ASP.NET 页面?

How to crawl specific ASP.NET pages using Python?

我想抓取 ASP.NET 网站,但 url 都是一样的 我如何使用 python 抓取特定页面?

这是我要抓取的网站: http://www.fveconstruction.ch/index.htm

(我正在使用 beautifulsoup、urllib 和 python 3)

我应该获取哪些信息来区分一个页面?

如果目标网站只是一个单页应用,则无法抓取。作为一种解决方法,您可以看到当您手动浏览网站并要求爬虫使用这些请求时实际发出的请求(GET、POST 等)。或者,教您的抓取工具至少执行 javascript 目标网站上的内容。

这是需要更改为易于抓取的网站,他们需要为每个需要索引的页面提供合理的非 AJAX 版本,或指向需要索引的页面的链接.或者使用类似 pushState 在 angularJs.

中所做的事情