部署持续网络抓取的 Flask 应用程序的选项

Question

我编写了一个跟踪亚马逊价格的 Flask 网络应用程序。以下是其作用的概述：

• 用户注册并登录应用程序
• 他们输入 URL 他们想要在亚马逊上跟踪的产品以及他们的预算和电子邮件
• 该应用程序将通过网络抓取 URL 并检索当前价格。然后它将它与预算进行比较并执行一些操作

我遇到的问题是，例如，当我在 Heroku 上部署该应用程序时，我希望该应用程序每天对产品进行 运行 网络抓取和价格检查，以便它可以注意到任何价格变动。

有人知道怎么做吗？我需要编写单独的 python 脚本吗？我需要什么样的 Web 服务？我希望他们不要花钱

Answer 1

您尝试过使用 Cron 吗？没有成本，也不需要安装：它 运行 在 Unix-like 操作系统上运行，并在虚拟环境中工作以 运行 基于时间的作业。因此，您可以将 cronjob 设置为每小时 运行 一个 python 脚本；在你的情况下，脚本将是一个在亚马逊网站上搜索价格的脚本。

在此处阅读有关 Cron 的信息：https://en.wikipedia.org/wiki/Cron

这里是 Flask 大师 Miguel Grinberg 制作的有用教程：Run your Flask Regularly Scheduled Jobs with Cron

你也可以有一个 python 脚本，它总是 运行s 并且只在特定时间过去后进行网络抓取，但这会 (a) 使用更多 CPU – 这是如果它是现收现付的虚拟机，那就糟糕了 – (b) 会对您的应用程序产生性能影响。