使用 puppeteer（库）进行网页抓取时克服分页

Question

我正在使用 Puppeteer 构建一个基本的网络抓取工具，到目前为止，我可以 return 从任何给定页面获得我需要的所有数据，但是当涉及分页时，我的抓取工具会出现问题（仅 return 第一页）。

查看示例 - 此 returns Title/Price 用于第 20 本书，但不查看其他 49 页的书。

只是在寻找如何克服这个问题的指导 - 我在文档中看不到任何内容。

谢谢！

const puppeteer = require('puppeteer');

let scrape = async () => {
  const browser = await puppeteer.launch({headless: false});
const page = await browser.newPage();

await page.goto('http://books.toscrape.com/');

const result = await page.evaluate(() => {
  let data = []; 
  let elements = document.querySelectorAll('.product_pod');

  for (var element of elements){
      let title = element.childNodes[5].innerText;
      let price = element.childNodes[7].children[0].innerText;

      data.push({title, price});
  }

  return data;
});

browser.close();
return result;
};

scrape().then((value) => {
console.log(value);
});

说清楚。我在这里学习教程 - 此代码来自 codeburst.io 上的 Brandon Morelli！！ https://codeburst.io/a-guide-to-automating-scraping-the-web-with-javascript-chrome-puppeteer-node-js-b18efb9e9921

Answer 1

我正在关注同一篇文章，以便自学如何使用 Puppeteer。对您的问题的简短回答是，您需要再引入一个循环来遍历在线图书目录中的所有可用页面。我已完成以下步骤以收集所有书名和价格：

提取的 page.evaluate 部分以页面为参数的单独异步函数
引入了带有硬编码最后目录页码的 for 循环（如果需要，您可以在 Puppeteer 的帮助下提取它）
将第一步中的异步函数放在循环中

与 Brandon Morelli 文章中的代码完全相同，但现在多了一个循环：

const puppeteer = require('puppeteer');

let scrape = async () => {
    const browser = await puppeteer.launch({ headless: true });
    const page = await browser.newPage();

    await page.goto('http://books.toscrape.com/');

    var results = []; // variable to hold collection of all book titles and prices
    var lastPageNumber = 50; // this is hardcoded last catalogue page, you can set it dunamically if you wish
    // defined simple loop to iterate over number of catalogue pages
    for (let index = 0; index < lastPageNumber; index++) {
        // wait 1 sec for page load
        await page.waitFor(1000);
        // call and wait extractedEvaluateCall and concatenate results every iteration.
        // You can use results.push, but will get collection of collections at the end of iteration
        results = results.concat(await extractedEvaluateCall(page));
        // this is where next button on page clicked to jump to another page
        if (index != lastPageNumber - 1) {
            // no next button on last page
            await page.click('#default > div > div > div > div > section > div:nth-child(2) > div > ul > li.next > a');
        }
    }

    browser.close();
    return results;
};

async function extractedEvaluateCall(page) {
    // just extracted same exact logic in separate function
    // this function should use async keyword in order to work and take page as argument
    return page.evaluate(() => {
        let data = [];
        let elements = document.querySelectorAll('.product_pod');

        for (var element of elements) {
            let title = element.childNodes[5].innerText;
            let price = element.childNodes[7].children[0].innerText;

            data.push({ title, price });
        }

        return data;
    });
}

scrape().then((value) => {
    console.log(value);
    console.log('Collection length: ' + value.length);
    console.log(value[0]);
    console.log(value[value.length - 1]);
});

控制台输出：

...
  { title: 'In the Country We ...', price: '£22.00' },
  ... 900 more items ]
Collection length: 1000
{ title: 'A Light in the ...', price: '£51.77' }
{ title: '1,000 Places to See ...', price: '£26.08' }

使用 puppeteer（库）进行网页抓取时克服分页

Overcoming pagination when using puppeteer (library) for web-scraping

pagination

node.js

web-scraping

puppeteer