Puppeteer 不会 return 来自特定网站的所有请求

Question

我有以下代码提取来自特定网站的所有请求（获取所有图像、css、脚本、字体...）

var totalRequests = 0;

    puppeteer.launch().then(async browser => {
        const page = await browser.newPage();
        await page.setRequestInterception(true);
        page.on('request', interceptedRequest => {
            interceptedRequest.continue();
        });
        page.on('response', response => {
            totalRequests = totalRequests + 1;
            console.log('Url: ' + response.url());
        });
        await page.goto('https://whosebug.com');
        await browser.close().then(() => {
            res.send('Requests: ' + totalRequests);
        });

很好，在控制台中我可以看到来自 whosebug.com 的所有 Url（Css 文件、图像文件、字体文件和 Javascript 文件）和请求的总文件数（在本例中我看到 31 个请求），但出于某种原因我最终注意到这段代码并没有 return 所有页面请求。

如果我们转到 Google Chrome，请按 F12，转到网络部分并重新加载页面（考虑到您在 url https://whosebug.com), 我们将看到一共39-40个请求文件。

问题是我的代码只 return 发出 30 到 31 个请求，并且在控制台中我看不到 Chrome 上显示的所有链接。可能会发生什么？我可以如何处理 return 所有请求，如 Google Chrome 中所示？

Answer 1

主要问题

对于whosebug.com，加载资源的数量取决于您浏览器的大小window。如果您的视口允许，Whosebug 将向您展示广告（在右侧栏中）。但是相应的资源（JavaScript、图片等）只会在你的视口尺寸足够宽的情况下才会被加载。通过减小 window 的大小，直到隐藏右侧边栏，然后重新加载页面，自己尝试一下。 DevTools 将显示不同数量的已加载资源。

示例代码

以下示例显示如何通过设置 defaultViewport 属性来模拟更大的浏览器 window。请注意，我在此示例中完全使用 async/await 语法，并且我删除了 page.setRequestInterception 调用，因为 response 事件也将在没有它（如果你真的想修改请求或响应，你只需要使用它）。

const puppeteer = require('puppeteer');

(async () => {
    const browser = await puppeteer.launch({ // headless: false, devtools: true,
        defaultViewport: { width: 1600, height: 800 }
    });
    const page = await browser.newPage();

    var totalRequests = 0;
    page.on('response', () => {
        totalRequests = totalRequests + 1;
    });

    await page.goto('https://whosebug.com');
    console.log(totalRequests);

    await browser.close();
})();

这个 returns 30 对我来说，这仍然不是我们期待的数字 (~40)。

等待所有资源加载完毕

您的代码还有一个问题。让我们打开 DevTools 看看发生了什么。如果您查看网络选项卡中的瀑布图，它看起来像这样：

看到那条红线了吗？这是加载事件。默认情况下 page.goto 等待此事件。但在我们的例子中，实际上有一些文件在事件触发后被加载（红线右侧的文件）。要同时等待这些资源加载，我们可以使用 page.goto 函数的选项之一。使用 waitUntil: 'networkidle0' 脚本将等到没有更多网络 activity.

因此，如果您使用此行从顶部切换出 page.goto 行，您应该会看到预期的请求数：

await page.goto('https://whosebug.com', { waitUntil: 'networkidle0' });

使用此设置时，上面的代码为我返回了 39，这正是您所期望的。

Puppeteer 不会 return 来自特定网站的所有请求

Puppeteer don't return all requests from a particular website

node.js

puppeteer

主要问题

等待所有资源加载完毕