在 F# 中进行网页抓取

Web crawling in F#

我正在使用 F# 开发网络爬虫,对此主题有一些疑问。

您需要创建一个脚本来在 F# 中进行爬网,还是可以创建一个控制台应用程序? 我看过一些教程,它们都使用#r(引用),这在控制台应用程序中是不可能的? 与 C# 相比,使用 F# 进行网络爬虫有什么好处? 我希望有人能阐明这些问题。

几年前我写了一个网络爬虫。我用的是 F#。我写成一个控制台应用程序。引用的 #r 在 F# 脚本中使用,这很酷,但我通常部署一个二进制文件。

我选择 F# 而不是 C# 是因为它对我来说更有效率(当然这是主观的),还因为我是用 F# 开发的 DSL 来描述页面的哪些部分让我感兴趣。

我用 FSharp.Data 做了 HTML 解析:http://fsharp.github.io/FSharp.Data/library/HtmlParser.html