在远程服务器上抓取推文的速度取决于什么?
The speed of scraping tweet on a remote server depends on what?
我正在开发我的第一个 webapp 项目,我打算使用远程服务器发布它。我对架构有疑问。
我的网络应用程序是使用 twitterscraper
Python 包来抓取推文。访问该网站的用户输入一些关键字并单击 "Scrape" 按钮。 Python 后端抓取包含关键字的推文,进行一些自然语言处理分析,并在图表中可视化结果。这个 twitterscraper
包允许您使用 Beautiful Soup
抓取推文,因此您不需要创建 API 凭据。抓取速度取决于您使用的互联网带宽。
我制作了一个Python脚本、JavaScript文件、html文件和css文件。在我的本地环境中,webapp 运行良好。
所以问题是,当我将这些文件放在托管服务器上并发布 webapp 后,当用户单击 "Scrape" 按钮时,抓取速度取决于什么?用户使用的互联网带宽?或者服务器是否依赖任何"bandwidth"?
正如我所说,我对这种架构非常陌生。因此,建议我另一种构建此类 Web 应用程序的方法也很好。谢谢!
瓶颈在哪里取决于一系列不同的变量。
如果您正在进行大量数据操作,但没有太多 CPU 时间分配给程序(即您的处理器无法处理太多用户),它可以在那里放慢速度。
如果您没有足够的内存,并且您正在尝试解析 return 大量数据,速度可能会变慢。
因为你也在与 Twitter 交谈,无论你的服务器和 Twitter 服务器之间的带宽限制如何,都会影响你从他们的 API 检索结果的速度,因此需要的时间响应用户的程序。
还有你自己和用户之间的联系。如果速度很慢,可能会影响您的程序。
我正在开发我的第一个 webapp 项目,我打算使用远程服务器发布它。我对架构有疑问。
我的网络应用程序是使用 twitterscraper
Python 包来抓取推文。访问该网站的用户输入一些关键字并单击 "Scrape" 按钮。 Python 后端抓取包含关键字的推文,进行一些自然语言处理分析,并在图表中可视化结果。这个 twitterscraper
包允许您使用 Beautiful Soup
抓取推文,因此您不需要创建 API 凭据。抓取速度取决于您使用的互联网带宽。
我制作了一个Python脚本、JavaScript文件、html文件和css文件。在我的本地环境中,webapp 运行良好。
所以问题是,当我将这些文件放在托管服务器上并发布 webapp 后,当用户单击 "Scrape" 按钮时,抓取速度取决于什么?用户使用的互联网带宽?或者服务器是否依赖任何"bandwidth"?
正如我所说,我对这种架构非常陌生。因此,建议我另一种构建此类 Web 应用程序的方法也很好。谢谢!
瓶颈在哪里取决于一系列不同的变量。
如果您正在进行大量数据操作,但没有太多 CPU 时间分配给程序(即您的处理器无法处理太多用户),它可以在那里放慢速度。
如果您没有足够的内存,并且您正在尝试解析 return 大量数据,速度可能会变慢。
因为你也在与 Twitter 交谈,无论你的服务器和 Twitter 服务器之间的带宽限制如何,都会影响你从他们的 API 检索结果的速度,因此需要的时间响应用户的程序。
还有你自己和用户之间的联系。如果速度很慢,可能会影响您的程序。