网络爬虫在网站上执行任务

Question

可以对网络爬虫进行编程以执行以下操作吗？

1. 转到https://sitecheck.sucuri.net//
2. 使用在线工具扫描指定网站

3. Return 结果

4. 奖金问题...这可以安排为每天自动完成一次此任务吗？

让蜘蛛程序自动执行此操作是非法的还是其他什么？

如果您能提供任何信息，我们将不胜感激。谢谢！

Answer 1

您可能不需要抓取工具，像 WebDriver 这样的浏览器自动化 API 就可以了。有各种后端以不同的编程语言实现 API 和客户端库。

您也可以直接使用 PhantomJS 编写脚本从页面加载和提取数据。

无论哪种方式，cronscript 每天都可以调用该进程一次。