Raspberry Pi 上的 Scrapy 和 Javascript 站点

Question

我正在尝试在 Raspberri Pi 上使用 Scrapy 抓取初始加载后由 javascript 修改的页面。

我尝试安装 docker 和 scrapinghub/splash 以在将页面传递到 scrapy 之前呈现该页面，但意识到 Splash 尚不支持 ARM。是否有其他选项可以使用 javascript 和 Scrapy 在 Raspberry Pi 上抓取页面？

目前，在网站上使用正常的 scrapy 请求我只得到这个 html，这是因为网站先加载，然后 javascript 呈现整个内容。所以在 javascript 之前页面源看起来是空的：

<body class="notie8 notie9 lang-{{html.lang}}">
<!--<![endif]-->
    <div loading-line></div>

    <div page-layout>
        <div ng-view></div>
    </div>
</body>
</html>

供参考，我指的网站是：https://www.sreality.cz/hledani/prodej/byty?region=brno

Answer 1

Sreality用API，这不就可以了吗？对于您的 URL，有此 API 调用：https://www.sreality.cz/api/cs/v2/estates?category_main_cb=1&category_type_cb=1&per_page=20&region=brno&tms=1502631428897（在浏览器的开发人员工具中查找 XHR 请求）。

Raspberry Pi 上的 Scrapy 和 Javascript 站点

Scrapy and Javascript sites on Rasbperry Pi

splash-screen

scrapy

raspberry-pi