AWS 消息系统推荐

Question

我有一个连接到网络套接字以获取数据的应用程序。

我想通过将信息放在某种队列中以供多个消费者阅读来存储该信息。我希望其中一位消费者连接到时间序列数据库进行存储。

我已经使用 InfluxDB 在 Kafka 中实现了一些东西，但我正在寻找 AWS 替代方案。

• 我收到的消息是时间序列/财务性质的。
• 延迟并不那么重要，如果消费者在约 1 秒后收到它们，那很好
• 传入消息的速率是零星的，每秒最多突发 5 条
• 它们的接收顺序很重要，需要 FIFO 协议。
• 消息流需要被多个消费者订阅

我有点迷失在 AWS 提供的所有不同产品中。任何人都可以根据上述要求推荐消息服务吗？如果消息服务直接连接到 AWS 的时间序列数据库产品会更好：无需代码的时间流（有点像 Kafka 连接）。

Answer 1

如果您对 Kafka 很坚定，请尝试查看 Amazon MSK（kafka 托管服务）

A​​WS“原生技术”方式是使用启用了 FIFO 的 SQS。

怎么做（简而言之）：

为您的消息创建一个 SNS 主题，让您的所有客户将他们的消息发送到该主题。在 SNS 中订阅 SQS，您的所有消息都将存储到 SQS 中。 您还可以订阅多个目标，例如多个 SQS、Kinesis、Lambda 等），以将您的消息传递到不同的工作流中。

要处理您的消息，您还可以订阅SQS来获取消息、处理和删除消息等，这取决于您的个人需求。

我已经使用过这样的设置（SNS、SQS）并处理了大约 200-300 messages/minute 的正常负载，并且在月底没有大量的账单。