Cheerio 未正确解析 HTML

Question

我从 html 的 table 中解析出一个行数组，存储在一个列表中。列表中的每一行都是一个看起来像这样的字符串：

["<td headers="DOCUMENT" class="t14data"><a target="6690-Exhibit-C-20190611-1" href="http://www.fara.gov/docs/6690-Exhibit-C-20190611-1.pdf" class="doj-analytics-processed"><span style="color:blue">Click Here </span></a></td><td headers="REGISTRATIONNUMBER" class="t14data">6690</td><td headers="REGISTRANTNAME" class="t14data">SKDKnickerbocker LLC</td><td headers="DOCUMENTTYPE" class="t14data">Exhibit C</td><td headers="STAMPED/RECEIVEDDATE" class="t14data">06/11/2019</td>","<td headers="DOCUMENT" class="t14data"><a target="5334-Supplemental-Statement-20190611-30" href="http://www.fara.gov/docs/5334-Supplemental-Statement-20190611-30.pdf" class="doj-analytics-processed"><span style="color:blue">Click Here </span></a></td><td headers="REGISTRATIONNUMBER" class="t14data">5334</td><td headers="REGISTRANTNAME" class="t14data">Commonwealth of Dominica Maritime Registry, Inc.</td><td headers="DOCUMENTTYPE" class="t14data">Supplemental Statement</td><td headers="STAMPED/RECEIVEDDATE" class="t14data">06/11/2019</td>"]

代码是使用 puppeteer 使用以下 page.evaluate 函数从页面中提取的。

然后我想用 cheerio 解析这段代码，我发现它更简单、更容易理解。但是，当我将 html 的每个字符串传递给 cheerio 时，它无法正确解析它们。这是我正在使用的当前函数：

    let data = res.map((tr) => {
        let $ = cheerio.load(tr);
        const link = $("a").attr("href");
        const number = $("td[headers='REGISTRATIONNUMBER']").text();
        const name = $("td[headers='REGISTRANTNAME']").text();
        const type = $("td[headers='DOCUMENTTYPE']").text();
        const date = $("td[headers='STAMPED/RECEIVEDDATE']").text();
        return { link, number, name, type, date };
    });

出于某种原因，只有 "a" 标记对每一行都正常工作。意思是，"link" 变量已正确定义，但其他变量的 none 是。当我使用 $("*") 来 return 应该是所有 td 的列表时，它 return 是一个不寻常的节点列表：

我哪里做错了，我怎样才能访问带有各种 headers 的 td 及其文本内容？谢谢！

Answer 1

通常看起来更像这样：

let data = res.map((i, tr) => {
  const link   = $(tr).find("a").attr("href");
  const number = $(tr).find("td[headers='REGISTRATIONNUMBER']").text();
  const name   = $(tr).find("td[headers='REGISTRANTNAME']").text();
  const type   = $(tr).find("td[headers='DOCUMENTTYPE']").text();
  const date   = $(tr).find("td[headers='STAMPED/RECEIVEDDATE']").text();
  return { link, number, name, type, date };
}).get();

请记住，cheerio 地图的参数与 js 地图相反。

Answer 2

我找到了解决方案。我只是通过 puppeteer 返回完整的 html 而不是尝试获取单独的行，然后使用上述建议（来自@pguardiario）来解析文本：

 const res = await page.evaluate(() => {
            return document.body.innerHTML;
        });

 let $ = cheerio.load(res);
        let trs = $(".t14Standard tbody tr.highlight-row");

 let data = trs.map((i, tr) => {
        const link = $(tr).find("a").attr("href");
        const number = $(tr).find("td[headers='REGISTRATIONNUMBER']").text();
        const registrant = $(tr).find("td[headers='REGISTRANTNAME']").text();
        const type = $(tr).find("td[headers='DOCUMENTTYPE']").text();
        const date = moment($(tr).find("td[headers='STAMPED/RECEIVEDDATE']").text()).valueOf().toString();
        return { link, number, registrant, type, date };
    });

Cheerio 未正确解析 HTML

Cheerio Not Parsing HTML Correctly

javascript

dom

web-scraping

cheerio

puppeteer