一般如何从不同网站提取评论?

How generically extract comments from different websites?

我想从任何文章中提取 Dawn.com 和 Tribune.com 的评论。我提取评论的方式是,在 Dawn 上针对 class <div class="comment__body cf">,而在 Tribune.com

上针对 class="content"

我该如何做?这意味着,这些网站上没有类似的模式可以通过一个 class.

来实现

我要为每个网站单独写代码吗?

所有网站都使用不同的 html 来表示观点和评论。 您必须为每个站点实施不同的爬虫。您也可以创建一个库文件来保留通用函数,而不是重复一些琐碎的函数。