长时间处理 lambda 函数
Long time processing a lambda function
我有一个 lambda 函数,它基本上将 'CSV files' 转换为 'JSON files',
问题取决于执行可能需要 5 秒或 400 秒的文件,
您是否认为在这种情况下使用 lambda 是一个很好的解决方案,将超时配置为 10 分钟或非常高?
Lambda 函数的最长运行时间为 5 分钟(300 秒)。因此,如果您预计您的运行时间可能会超过此值,那么 Lambda 不是适合使用的技术。像 Batch or Fargate ECS 这样的 AWS 产品可能更合适。
在与 AWS 技术顾问会面后,我得到了以下解决方案:
- AWS 批次
- AWS Glue
AWS GLUE 可能是更好的解决方案,它是一个 ETL,是 AWS 为解决此类问题而引入的。
因此解决方案将是调用 AWS GLUE 以从 AWS S3 转换文件的 AWS LAMBDA 函数,我将通过 AWS API GATEWAY 调用 LAMBDA。
我有一个 lambda 函数,它基本上将 'CSV files' 转换为 'JSON files',
问题取决于执行可能需要 5 秒或 400 秒的文件,
您是否认为在这种情况下使用 lambda 是一个很好的解决方案,将超时配置为 10 分钟或非常高?
Lambda 函数的最长运行时间为 5 分钟(300 秒)。因此,如果您预计您的运行时间可能会超过此值,那么 Lambda 不是适合使用的技术。像 Batch or Fargate ECS 这样的 AWS 产品可能更合适。
在与 AWS 技术顾问会面后,我得到了以下解决方案:
- AWS 批次
- AWS Glue
AWS GLUE 可能是更好的解决方案,它是一个 ETL,是 AWS 为解决此类问题而引入的。
因此解决方案将是调用 AWS GLUE 以从 AWS S3 转换文件的 AWS LAMBDA 函数,我将通过 AWS API GATEWAY 调用 LAMBDA。