一般如何从不同网站提取评论?
How generically extract comments from different websites?
我想从任何文章中提取 Dawn.com 和 Tribune.com 的评论。我提取评论的方式是,在 Dawn 上针对 class <div class="comment__body cf">
,而在 Tribune.com
上针对 class="content"
我该如何做?这意味着,这些网站上没有类似的模式可以通过一个 class.
来实现
我要为每个网站单独写代码吗?
所有网站都使用不同的 html
来表示观点和评论。
您必须为每个站点实施不同的爬虫。您也可以创建一个库文件来保留通用函数,而不是重复一些琐碎的函数。
我想从任何文章中提取 Dawn.com 和 Tribune.com 的评论。我提取评论的方式是,在 Dawn 上针对 class <div class="comment__body cf">
,而在 Tribune.com
我该如何做?这意味着,这些网站上没有类似的模式可以通过一个 class.
来实现我要为每个网站单独写代码吗?
所有网站都使用不同的 html
来表示观点和评论。
您必须为每个站点实施不同的爬虫。您也可以创建一个库文件来保留通用函数,而不是重复一些琐碎的函数。