是否有针对 API 的 运行 脚本的 AWS 服务并保存接收到的数据
Is there an AWS service for running scripts against an API & saving received data
我在 AWS 环境中工作，我需要执行以下 [编辑] 作为日常计划任务 [/编辑]：
- 运行 python/http 多次调用外部（AWS 外部）API 的脚本。
- 将每次调用的输出保存到 CSV 文件中
- 将多个 CSV 转储到 Redshift 数据库中。
我查看了 AWS Glue，但我认为我无法完成其中的第一步。您会建议什么样的工作流程或工具组合？
- 使用 EC2 命中 API 并存储 CSV
- 使用
boto3 库将这些上传到 S3
- 使用
COPY命令将数据从S3加载到Redshift（目前最快的方法）
您可以编写 Lambda function with scheduled events 来抓取 API。
与配置 EC2 实例相比，使用 Lambda 很可能会更便宜，因为您的工作不耗时且数据量更少。
如果您仍然希望使用 EC2 实例，您可以使用 Lambda 计划事件 start and stop the EC2 instance（或者 EC2 实例本身可以在作业完成后关闭）。
我在 AWS 环境中工作，我需要执行以下 [编辑] 作为日常计划任务 [/编辑]：
- 运行 python/http 多次调用外部（AWS 外部）API 的脚本。
- 将每次调用的输出保存到 CSV 文件中
- 将多个 CSV 转储到 Redshift 数据库中。
我查看了 AWS Glue，但我认为我无法完成其中的第一步。您会建议什么样的工作流程或工具组合？
- 使用 EC2 命中 API 并存储 CSV
- 使用
boto3库将这些上传到 S3 - 使用
COPY命令将数据从S3加载到Redshift（目前最快的方法）
您可以编写 Lambda function with scheduled events 来抓取 API。
与配置 EC2 实例相比，使用 Lambda 很可能会更便宜，因为您的工作不耗时且数据量更少。
如果您仍然希望使用 EC2 实例，您可以使用 Lambda 计划事件 start and stop the EC2 instance（或者 EC2 实例本身可以在作业完成后关闭）。