Parent 任务未等待 Child 任务

Question

首先，我对线程还很陌生。我想要完成的是，有一个 url 的列表，我正在尝试抓取（我认为）并检测闪光灯，如果 url 有它，那也是并行的.一些 url 有外部链接，这意味着我必须生成一个新任务并递归调用我的方法。我想使用 AsParallel 或 Parallel.ForEach，但它们不接受任务输入。

所以我有两个问题。 1) 我想要一种更好的方法来并行爬行 urls（如果需要则递归） 2) 如果我写的是一个好方法，那么我应该怎么做才能让任务等待它 child?

P.S。我搜索了 Whosebug，但找不到我需要的东西。对不起，如果我错过了有人已经回答过与我类似的问题。

    async Task CrawlAndDetectFlash(LearningResource resource, string url, int depth)
    {
        using (var client = new HttpClient())
        using (var response = await client.GetAsync(url))
        {
            response.EnsureSuccessStatusCode();
            using (var content = response.Content)
            {
                var result = content.ReadAsStringAsync().Result;
                resource.FlashRequired = result.Contains("application/x-shockwave-flash") || result.Contains("application/x-director") || result.Contains(".swf") ? 1 : 0;
                if (resource.FlashRequired == 0 && depth == 1)
                {
                    var document = new HtmlDocument();
                    document.LoadHtml(result);
                    var links = document.DocumentNode.Descendants("a")
                        .Where(a => a.Attributes.Contains("class") && String.Equals(a.GetAttributeValue("class", string.Empty), "external"))
                        .Select(a => a.GetAttributeValue("href", null))
                        .Distinct()
                        .Where(u => !String.IsNullOrEmpty(u))
                        .ToList();
                    if (links.Count > 0)
                    {
                        foreach (var link in links)
                        {
                            Task child = CrawlAndDetectFlash(resource, link, 2);
                            child.Wait();
                        }
                    }
                }
            }
        }
    }

Answer 1

您可以像这样修改您的代码

List<Task> children = new List<Task>();
foreach (var link in links)
{
    Task child = CrawlAndDetectFlash(resource, link, 2);
    children.Add(child);
}

Task.WaitAll(children.ToArray());

Answer 2

首先，您需要区分"concurrency"、"parallelism"和"asynchrony"。并发是一次做不止一件事；并行是一种使用多线程的并发形式；异步是一种没有线程的并发形式。当您想将线程分布到多个 CPU 核心时，并行最适合 CPU 绑定代码。当您不想阻塞线程时，异步最适合 I/O-bound 代码。

在你的情况下，看起来你主要是 I/O-bound，所以异步是要走的路。这意味着 AsParallel 和 Parallel.ForEach 是这个问题的不正确解决方案（它们是并行的，而不是异步的）。

下一课（正如我在博客中描述的那样）是你 don't want to block on asynchronous code；阻塞破坏了整个异步点。因此不应使用 Task<T>.Result 和 Task.Wait。而不是这些，只需使用 await:

async Task CrawlAndDetectFlashAsync(LearningResource resource, string url, int depth)
{
  using (var client = new HttpClient())
  using (var response = await client.GetAsync(url))
  {
    response.EnsureSuccessStatusCode();
    using (var content = response.Content)
    {
      var result = await content.ReadAsStringAsync(); // Result -> await
      resource.FlashRequired = result.Contains("application/x-shockwave-flash") || result.Contains("application/x-director") || result.Contains(".swf") ? 1 : 0;
      if (resource.FlashRequired == 0 && depth == 1)
      {
        var document = new HtmlDocument();
        document.LoadHtml(result);
        var links = document.DocumentNode.Descendants("a")
                    .Where(a => a.Attributes.Contains("class") && String.Equals(a.GetAttributeValue("class", string.Empty), "external"))
                    .Select(a => a.GetAttributeValue("href", null))
                    .Distinct()
                    .Where(u => !String.IsNullOrEmpty(u))
                    .ToList();
        if (links.Count > 0)
        {
          foreach (var link in links)
          {
            Task child = CrawlAndDetectFlashAsync(resource, link, 2);
            await child; // Wait -> await
          }
        }
      }
    }
  }
}

既然该方法是正确的异步方法，您可以考虑添加更多并发性。例如，如果你想同时处理所有子链接，foreach 循环可以重写为：

if (links.Count > 0)
{
  var childTasks = links.Select(x => CrawlAndDetectFlashAsync(resource, x, 2)).ToList();
  await Task.WhenAll(childTasks);
}

Parent 任务未等待 Child 任务

Parent task not waiting for Child task

c#

multithreading

task

wait