在远程服务器上抓取推文的速度取决于什么?

The speed of scraping tweet on a remote server depends on what?

我正在开发我的第一个 webapp 项目,我打算使用远程服务器发布它。我对架构有疑问。

我的网络应用程序是使用 twitterscraper Python 包来抓取推文。访问该网站的用户输入一些关键字并单击 "Scrape" 按钮。 Python 后端抓取包含关键字的推文,进行一些自然语言处理分析,并在图表中可视化结果。这个 twitterscraper 包允许您使用 Beautiful Soup 抓取推文,因此您不需要创建 API 凭据。抓取速度取决于您使用的互联网带宽。

我制作了一个Python脚本、JavaScript文件、html文件和css文件。在我的本地环境中,webapp 运行良好。

所以问题是,当我将这些文件放在托管服务器上并发布 webapp 后,当用户单击 "Scrape" 按钮时,抓取速度取决于什么?用户使用的互联网带宽?或者服务器是否依赖任何"bandwidth"?

正如我所说,我对这种架构非常陌生。因此,建议我另一种构建此类 Web 应用程序的方法也很好。谢谢!

瓶颈在哪里取决于一系列不同的变量。

如果您正在进行大量数据操作,但没有太多 CPU 时间分配给程序(即您的处理器无法处理太多用户),它可以在那里放慢速度。

如果您没有足够的内存,并且您正在尝试解析 return 大量数据,速度可能会变慢。

因为你也在与 Twitter 交谈,无论你的服务器和 Twitter 服务器之间的带宽限制如何,都会影响你从他们的 API 检索结果的速度,因此需要的时间响应用户的程序。

还有你自己和用户之间的联系。如果速度很慢,可能会影响您的程序。