使用云服务在 window 时间内聚合和分组实时统计信息以触发通知
using cloud services to aggregate and group real-time statistics in a time window to trigger notifications
我正在尝试为以下内容构建一个实时成就处理器：
每次有新的参与者加入，向最后3个参与者发送通知
每天按类型分组和汇总activity 流通知
这个事件流处理的描述似乎很适合我的需要https://en.wikipedia.org/wiki/Event_stream_processing
如果用例只是更新或从单个事件触发，我可以使用亚马逊或天蓝色的众多云队列或发布者服务之一，例如 Kinesis 或 SQS，并使用 AWS lambda 函数来处理来自队列的消息。 Azure 似乎提供了一种称为事件中心的东西，它可以充当数据流广播者。本质上，拥有一个包含所有 actions/events 的云队列和多个通知处理器作为事件流的订阅者，逻辑触发器和聚合以及成就奖励封装在每个成就处理器中。
但是，由于我需要根据一些任意规则对项目进行分组（每个成就可以有很多分组参数），我不能只查看操作队列中的最新事件来实时处理每个成就.我是否必须在内存中保留一组以提高效率？另一种方法是让每个成就处理器对每个事件进行数据库查找（例如 select 当天匹配此类型的所有事件），但我担心如果我这样做，它的性能不会很好。我听说过像火花流和扫雪机这样的事情，所以我想知道 AWS 或 Azure 云服务上是否有一种模式和产品可以以非常可扩展和简单的方式解决这个问题 - 和azure 和 aws（事件中心和 kinesis）上的现有数据流服务是否适合此数据聚合用例。
Azure 和 AWS 现在都提供了适合这种用例的东西：
https://azure.microsoft.com/en-us/services/stream-analytics/
和
免责声明：我是 Striim 的产品经理
为了回答这个问题，Striim 允许您 运行 SQL 查询实时数据流，将其与 time/count/hybrid windows 聚合，然后触发警报。它也可以水平扩展。
Striim 可在 Azure 和 AWS 市场上使用。另一个好处是，同一个管道可以很容易地在云之间传输，也可以 运行 在内部部署。
我正在尝试为以下内容构建一个实时成就处理器：
每次有新的参与者加入，向最后3个参与者发送通知
每天按类型分组和汇总activity 流通知
这个事件流处理的描述似乎很适合我的需要https://en.wikipedia.org/wiki/Event_stream_processing
如果用例只是更新或从单个事件触发，我可以使用亚马逊或天蓝色的众多云队列或发布者服务之一，例如 Kinesis 或 SQS，并使用 AWS lambda 函数来处理来自队列的消息。 Azure 似乎提供了一种称为事件中心的东西，它可以充当数据流广播者。本质上，拥有一个包含所有 actions/events 的云队列和多个通知处理器作为事件流的订阅者，逻辑触发器和聚合以及成就奖励封装在每个成就处理器中。
但是，由于我需要根据一些任意规则对项目进行分组（每个成就可以有很多分组参数），我不能只查看操作队列中的最新事件来实时处理每个成就.我是否必须在内存中保留一组以提高效率？另一种方法是让每个成就处理器对每个事件进行数据库查找（例如 select 当天匹配此类型的所有事件），但我担心如果我这样做，它的性能不会很好。我听说过像火花流和扫雪机这样的事情，所以我想知道 AWS 或 Azure 云服务上是否有一种模式和产品可以以非常可扩展和简单的方式解决这个问题 - 和azure 和 aws（事件中心和 kinesis）上的现有数据流服务是否适合此数据聚合用例。
Azure 和 AWS 现在都提供了适合这种用例的东西：
https://azure.microsoft.com/en-us/services/stream-analytics/
和
免责声明：我是 Striim 的产品经理
为了回答这个问题，Striim 允许您 运行 SQL 查询实时数据流，将其与 time/count/hybrid windows 聚合，然后触发警报。它也可以水平扩展。
Striim 可在 Azure 和 AWS 市场上使用。另一个好处是，同一个管道可以很容易地在云之间传输，也可以 运行 在内部部署。