如何在 SNS 以外的地方发送 AWS 数据管道故障消息?

How to send AWS datapipeline failure messages somewhere other than SNS?

我想收集 AWS 数据管道操作的失败日志。当数据管道操作(步骤)失败时,AWS 提供的标准失败处理是向 SNS 主题发送通知。相反,我想将这些失败存储在日志存储中。 (理想情况下,在 S3 中)。

有什么方法可以配置我的数据管道来记录这些失败通知,而不是将通知推送到 SNS?我想将数据管道故障日志发送到 S3。

根据 documentation,似乎 SNS 是失败通知唯一受支持的目的地。

我希望有办法,因为能够将日志推送到 S3 存储桶是 AWS 中非常常见的模式。

我想知道,我能否在为每个数据管道步骤配置的 pipelineLogUri S3 存储桶中找到故障日志? (如果我可以过滤这些细粒度日志以查找致命错误,那对我来说是可以接受的)

我决定为 SNS 通知订阅一个 lambda 函数,并将它们从那里推送到 S3。不理想(因为它给我们的系统增加了额外的复杂性),但它有效。