写入分区文件时触发 lambda 函数
Trigger a lambda function when partitioned file gets written
我正在尝试在 Glue 作业完成文件分区并将其写入 S3 时触发 lambda 函数。
我的胶水工作是这样做的：
df.repartition(10).write.format("csv").option("sep",",").option("header", "true").option("mode","Overwrite").save("s3://Bucket/a/b/c")
我使用以下参数创建了一个触发器：
我将 run 作为前缀，因为我的 Glue 作业生成的分区都以 run- 开头。
我现在怀疑我的 Lambda 函数在 Glue 作业完成时根本没有启动。 （我希望 Lambda 为所有文件分区 运行。
我在哪里可以看到我的 Lambda 的历史记录？我显然是 AWS 的新手。
谢谢
正如 John Rotenstein 所说，日志和执行历史记录可以在 lambda 函数页面的监控选项卡中找到。
我正在尝试在 Glue 作业完成文件分区并将其写入 S3 时触发 lambda 函数。 我的胶水工作是这样做的：
df.repartition(10).write.format("csv").option("sep",",").option("header", "true").option("mode","Overwrite").save("s3://Bucket/a/b/c")
我使用以下参数创建了一个触发器：
我将 run 作为前缀，因为我的 Glue 作业生成的分区都以 run- 开头。
我现在怀疑我的 Lambda 函数在 Glue 作业完成时根本没有启动。 （我希望 Lambda 为所有文件分区 运行。
我在哪里可以看到我的 Lambda 的历史记录？我显然是 AWS 的新手。
谢谢
正如 John Rotenstein 所说，日志和执行历史记录可以在 lambda 函数页面的监控选项卡中找到。