如何从给定网站检索特定 HTML 信息

Question

我正在尝试为 discord 编写 API，我需要从网页 https://myanimelist.net/character/214 的 HTML 代码中检索两条信息（以及其他类似的URL 形式为 https://myanimelist.net/character/N 的页面，表示整数 N），特别是角色图片的 URL（在本例中为 https://cdn.myanimelist.net/images/characters/14/54554.jpg）和角色名称（在本例工藤友记）。之后我需要将这两条信息保存到JSON。

我正在为此使用 HTMLAgilityPack，但我看不透它。以下是我的第一次尝试：

public static void Main()
{ 
    var html = "https://myanimelist.net/character/214";
    HtmlWeb web = new HtmlWeb();
    var htmlDoc = web.Load(html);
    var htmlNodes = htmlDoc.DocumentNode.SelectNodes("//body");

    foreach (var node in htmlNodes.Descendants("tr/td/div/a/img"))
    {
        Console.WriteLine(node.InnerHtml);
    }
}

不幸的是，这不会产生任何输出。如果我正确地遵循了路径（这可能是第一个错误），它应该是 "tr/td/div/a/img"。我没有收到任何错误，它运行了，但我没有得到任何输出。

我的第二次尝试是：

public static void Main()
{
    var html = "https://myanimelist.net/character/214";
    HtmlWeb web = new HtmlWeb();
    var htmlDoc = web.Load(html);
    var htmlNodes = htmlDoc.DocumentNode.SelectNodes("//body");
    HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();
    var script = htmlDoc.DocumentNode.Descendants()
                     .Where(n => n.Name == "tr/td/a/img")
                     .First().InnerText;

    // Return the data of spect and stringify it into a proper JSON object
    var engine = new Jurassic.ScriptEngine();
    var result = engine.Evaluate("(function() { " + script + " return src; })()");
    var json = JSONObject.Stringify(engine, result);

    Console.WriteLine(json);
    Console.ReadKey();
}

但这也行不通。

如何提取所需信息？

编辑：

所以，我现在已经走得更远了，我找到了找到 link 的解决方案。这很简单。但现在我一直在寻找角色的名字。该网站的结构在每个其他 link 上都是相同的（更改最后一个数字）所以，我想通过 for 循环找到许多不同的网站。以下是我尝试这样做的方法：

for (int i = 1; i <= 1000; i++)
            {
                HtmlWeb web = new HtmlWeb();
                var html = "https://myanimelist.net/character/" + i;
                var htmlDoc = web.Load(html);
                foreach (var item in htmlDoc.DocumentNode.SelectNodes("//*[@]"))
                {
                    string n;
                    n = item.GetAttributeValue("src", "");
                    foreach (var item2 in htmlDoc.DocumentNode.SelectNodes("//*[@src and @alt='" + n + "']"))
                    {
                        Console.WriteLine(item2.GetAttributeValue("src", ""));
                    }
                }


            }

在第一个 foreach 中，我会尝试搜索名称，该名称总是在相同的位置结束（例如 http://prntscr.com/o1uo3c and http://prntscr.com/o1uo91 and to be specific: http://prntscr.com/o1xzbk），但我还没有找到方法。由于 HTML 中的结构没有任何我可以跟进的主体类型。第二个 foreach 循环是搜索现在有效的 URL 并且 n 应该给我名字，所以我可以为每个不同的字符找出它。

Answer 1

我能够使用以下方法从 https://myanimelist.net/character/214 中提取角色名称和图像：

public static CharacterData ExtractCharacterNameAndImage(string url)
{
    //Use the following if you are OK with hardcoding the structure of <div> elements.
    //var tableXpath             = "/html/body/div[1]/div[3]/div[3]/div[2]/table"; 
    //Use the following if you are OK with hardcoding the fact that the relevant table comes first.
    var tableXpath             = "/html/body//table"; 
    var nameXpath              = "tr/td[2]/div[4]";
    var imageXpath             = "tr/td[1]/div[1]/a/img";

    var htmlDoc = new HtmlWeb().Load(url);

    var table = htmlDoc.DocumentNode.SelectNodes(tableXpath).First();

    var name = table.SelectNodes(nameXpath).Select(n => n.GetDirectInnerText().Trim()).SingleOrDefault();
    var imageUrl = table.SelectNodes(imageXpath).Select(n => n.GetAttributeValue("src", "")).SingleOrDefault();

    return new CharacterData { Name = name, ImageUrl = imageUrl, Url = url };
}

其中CharacterData定义如下：

public class CharacterData
{
    public string Name { get; set; }
    public string ImageUrl { get; set; }
    public string Url { get; set; }
}

之后，可以使用 How to write a JSON file in C#?, e.g. json.net:

中的任何工具将字符数据序列化为 JSON

var url = "https://myanimelist.net/character/214";

var data = ExtractCharacterNameAndImage(url);
var json = JsonConvert.SerializeObject(data, Formatting.Indented);

Console.WriteLine(json);

输出

{
  "Name": "Youji Kudou",
  "ImageUrl": "https://cdn.myanimelist.net/images/characters/14/54554.jpg",
  "Url": "https://myanimelist.net/character/214"
}

如果您希望 Name 将日语包含在括号中，请将 GetDirectInnerText() 替换为 InnerText，结果为：

{
  "Name": "Youji Kudou (工藤耀爾)",
  "ImageUrl": "https://cdn.myanimelist.net/images/characters/14/54554.jpg",
  "Url": "https://myanimelist.net/character/214"
}

或者，如果您愿意，可以从文档标题中提取角色名称：

var title = string.Concat(htmlDoc.DocumentNode.SelectNodes("/html/head/title").Select(n => n.InnerText.Trim()));
var index = title.IndexOf("- MyAnimeList.net");
if (index >= 0)
    title = title.Substring(0, index).Trim();

我如何确定正确的 XPath 字符串？

首先，使用 Firefox 66，我打开调试器并在 window 中加载 https://myanimelist.net/character/214，调试工具可见。

接下来，按照 How to find xpath of an element in firefox inspector 的说明，我 select 编辑了 Youji Kudou (工藤耀尔) 节点并复制它的 XPath，结果是：

/html/body/div[1]/div[3]/div[3]/div[2]/table/tbody/tr/td[2]/div[4]

然后我尝试使用 SelectNodes()... select 此节点并得到一个空结果。但为什么？为了确定这一点，我创建了一个调试例程，它将路径分成连续较长的部分并确定故障发生的位置：

static void TestSelect(HtmlDocument htmlDoc, string xpath)
{
    Console.WriteLine("\nInput path: " + xpath);
    var splitPath = xpath.Split('/');
    for (int i = 2; i <= splitPath.Length; i++)
    {
        if (splitPath[i-1] == "")
            continue;
        var thisPath = string.Join("/", splitPath, 0, i);
        Console.Write("Testing \"{0}\": ", thisPath);
        var result = htmlDoc.DocumentNode.SelectNodes(thisPath);
        Console.WriteLine("result count = {0}", result == null ? "null" : result.Count.ToString());
    }
}

此输出如下：

Input path: /html/body/div[1]/div[3]/div[3]/div[2]/table/tbody/tr/td[2]/div[4]
Testing "/html": result count = 1
Testing "/html/body": result count = 1
Testing "/html/body/div[1]": result count = 1
Testing "/html/body/div[1]/div[3]": result count = 1
Testing "/html/body/div[1]/div[3]/div[3]": result count = 1
Testing "/html/body/div[1]/div[3]/div[3]/div[2]": result count = 1
Testing "/html/body/div[1]/div[3]/div[3]/div[2]/table": result count = 1
Testing "/html/body/div[1]/div[3]/div[3]/div[2]/table/tbody": result count = null
Testing "/html/body/div[1]/div[3]/div[3]/div[2]/table/tbody/tr": result count = null
Testing "/html/body/div[1]/div[3]/div[3]/div[2]/table/tbody/tr/td[2]": result count = null
Testing "/html/body/div[1]/div[3]/div[3]/div[2]/table/tbody/tr/td[2]/div[4]": result count = null

如您所见，select <tbody> 路径元素出现问题。对 selecting /html/body/div[1]/div[3]/div[3]/div[2]/table 返回的 InnerHtml 的手动检查显示，出于某种原因，服务器在返回 HTML 时不包括 <tbody> 标记HtmlWeb object -- 可能是由于 Firefox 与 HtmlWeb 提供的请求 header(s) 存在一些差异。一旦我省略了 tbody 路径元素，我就可以使用以下方法成功查询角色名称：

/html/body/div[1]/div[3]/div[3]/div[2]/table/tr/td[2]/div[4]

类似的过程为图像提供了以下工作路径：

/html/body/div[1]/div[3]/div[3]/div[2]/table/tr/td[1]/div[1]/a/img

由于这两个查询在同一个 <table> 中查找内容，在我的最终代码中，我在一个单独的步骤中只 select 编辑了 table 一次，并删除了一些关于 <div> 元素的特定嵌套的硬编码。

演示 fiddle here.

Answer 2

好吧，为了完成它，我对代码进行了四舍五入，感谢 dbc 的协助，并几乎完全实施到项目中。只是如果以后有人可能有相同的问题，他们就在这里。这会从定义的数字中输出所有角色名称、链接和图像，并将其写入 JSON 文件，并可适用于其他网站。

using System;
using System.Linq;
using Newtonsoft.Json;
using HtmlAgilityPack;
using System.IO;

namespace SearchingHTML
{
    public class CharacterData
    {
        public string Name { get; set; }
        public string ImageUrl { get; set; }
        public string Url { get; set; }
    }
    public class Program
    {
        public static CharacterData ExtractCharacterNameAndImage(string url)
        {
            var tableXpath = "/html/body//table";
            var nameXpath = "tr/td[2]/div[4]";
            var imageXpath = "tr/td[1]/div[1]/a/img";

            var htmlDoc = new HtmlWeb().Load(url);
            var table = htmlDoc.DocumentNode.SelectNodes(tableXpath).First();
            var name = table.SelectNodes(nameXpath).Select(n => n.GetDirectInnerText().Trim()).SingleOrDefault();
            var imageUrl = table.SelectNodes(imageXpath).Select(n => n.GetAttributeValue("src", "")).SingleOrDefault();

            return new CharacterData { Name = name, ImageUrl = imageUrl, Url = url };
        }
        public static void Main()
        {
            int max = 10000;
            string fileName = @"C:\Users\path of your file.json";

            Console.WriteLine("Environment version: " + Environment.Version);
            Console.WriteLine("Json.NET version: " + typeof(JsonSerializer).Assembly.FullName);
            Console.WriteLine("HtmlAgilityPack version: " + typeof(HtmlDocument).Assembly.FullName);
            Console.WriteLine();

            for (int i = 6; i <= max; i++)
            {
                try
                {
                    var url = "https://myanimelist.net/character/" + i;
                    var htmlDoc = new HtmlWeb().Load(url);
                    var data = ExtractCharacterNameAndImage(url);
                    var json = JsonConvert.SerializeObject(data, Formatting.Indented);
                    Console.WriteLine(json);
                    TextWriter tsw = new StreamWriter(fileName, true);
                    tsw.WriteLine(json);
                    tsw.Close();
                } catch (Exception ex) { }
            }

        }
    }
}

/*******************************************************************************************************************************
 ****************************************************IF TESTING IS REQUIERED****************************************************
 *******************************************************************************************************************************
 * 
 * static void TestSelect(HtmlDocument htmlDoc, string xpath)

        Console.WriteLine("\nInput path: " + xpath);
        var splitPath = xpath.Split('/');
        for (int i = 2; i <= splitPath.Length; i++)
        {
            if (splitPath[i - 1] == "")
                continue;
            var thisPath = string.Join("/", splitPath, 0, i);
            Console.Write("Testing \"{0}\": ", thisPath);
            var result = htmlDoc.DocumentNode.SelectNodes(thisPath);
            Console.WriteLine("result count = {0}", result == null ? "null" : result.Count.ToString());
        }
    }

  *******************************************************************************************************************************
  *********************************************FOR TESTING ENTER THIS INTO MAIN CLASS********************************************
  *******************************************************************************************************************************
  * 
  *     var url2 = "https://myanimelist.net/character/256";
        var data2 = ExtractCharacterNameAndImage(url2);
        var json2 = JsonConvert.SerializeObject(data2, Formatting.Indented);

        Console.WriteLine(json2);



        var nameXpathFromFirefox = "/html/body/div[1]/div[3]/div[3]/div[2]/table/tbody/tr/td[2]/div[4]";
        var imageXpathFromFirefox = "/html/body/div[1]/div[3]/div[3]/div[2]/table/tbody/tr/td[1]/div[1]/a/img";
        TestSelect(htmlDoc, nameXpathFromFirefox);
        TestSelect(htmlDoc, imageXpathFromFirefox);
        var nameXpathFromFirefoxFixed = "/html/body/div[1]/div[3]/div[3]/div[2]/table/tr/td[2]/div[4]";
        var imageXpathFromFirefoxFixed = "/html/body/div[1]/div[3]/div[3]/div[2]/table/tr/td[1]/div[1]/a/img";
        TestSelect(htmlDoc, nameXpathFromFirefoxFixed);
        TestSelect(htmlDoc, imageXpathFromFirefoxFixed);

  *******************************************************************************************************************************
  *******************************************************************************************************************************
  *******************************************************************************************************************************
  */

如何从给定网站检索特定 HTML 信息

How to retrieve specific HTML information from a given website

html

c#

search

converters

html-agility-pack