加快从 SQS 请求消息的过程

Speed up the proces of requesting messages from SQS

我们需要处理存储在 SQS 中的大量消息(消息来自亚马逊商店,SQS 是我们唯一可以将它们保存到的地方)并将结果保存到我们的数据库中。问题是,SQS 一次只能 return 10 条消息。考虑到我们在 SQS 中最多可以有 300000 条消息,即使请求和处理 10 条消息只花费很少的时间,整个过程也需要很长时间,而罪魁祸首实际上是从 SQS 请求和接收消息。

我们正在寻找加快速度的方法。预期的结果是将结果转储到我们的数据库中。该过程可能每天 运行 几次(在这种情况下,每次 运行 的消息数量可能会更少)。

正如 Michael-sqlbot 所写,并行请求是解决方案。通过重写我们的代码以使用异步并同时发出 10 个请求,我们设法将执行时间减少到更合理的水平。

我猜是因为我在工作中很少直接使用多线程,所以我没有想过用它来解决这个问题。