将 SQL 个脚本 运行 自动化到 AWS redshift 环境(开发、预生产和生产)
Automating SQL scripts run into AWS redshift environments (Dev, preprod & prod)
我希望将 SQL 中的 运行(DML 和 DML)自动化到 AWS redshift 集群中,即一旦有人将 SQL 文件合并到 S3 存储桶中,它应该运行 在配置的环境中说 dev、preprod 和 prod。
有什么办法可以做到这一点吗?
我的调查表明 AWS codepipeline 是解决方案之一,但是我不确定如何连接到 Codepipeline 中的 Redshift 数据库?
另一种方法是使用 Lambda 函数,但我猜它有 5 分钟的限制,并且一些 DDL/DML 可能需要超过 5 分钟才能 运行。
此致,
谢伊
有很多选择,哪一个最好取决于许多因素,包括您团队的技能和预算。我会让社区权衡所有的可能性。
我想就使用 AWS 无服务器生态系统来执行这些功能提出建议。首先,Lambda 限制现在是 15 分钟,但这真的不重要。最重要的开发是 Redshift Data API,它允许您在 Lambda 中开始查询,并在稍后完成其他 Lambda 检查。参见:https://docs.aws.amazon.com/redshift/latest/mgmt/data-api.html
使用 Redshift 数据 API 实现对 Redshift 的即发即弃访问和 Step Functions 以编排 Lambda 函数,您可以创建一个低成本、轻量级的基础设施来执行各种集成和操作。这些可以包括根据您的需要触发其他工具/服务。这并非在所有情况下都是最佳方法,但由于 运行 时间限制,不应排除基于 Lambda 的解决方案。
我希望将 SQL 中的 运行(DML 和 DML)自动化到 AWS redshift 集群中,即一旦有人将 SQL 文件合并到 S3 存储桶中,它应该运行 在配置的环境中说 dev、preprod 和 prod。 有什么办法可以做到这一点吗?
我的调查表明 AWS codepipeline 是解决方案之一,但是我不确定如何连接到 Codepipeline 中的 Redshift 数据库?
另一种方法是使用 Lambda 函数,但我猜它有 5 分钟的限制,并且一些 DDL/DML 可能需要超过 5 分钟才能 运行。
此致, 谢伊
有很多选择,哪一个最好取决于许多因素,包括您团队的技能和预算。我会让社区权衡所有的可能性。
我想就使用 AWS 无服务器生态系统来执行这些功能提出建议。首先,Lambda 限制现在是 15 分钟,但这真的不重要。最重要的开发是 Redshift Data API,它允许您在 Lambda 中开始查询,并在稍后完成其他 Lambda 检查。参见:https://docs.aws.amazon.com/redshift/latest/mgmt/data-api.html
使用 Redshift 数据 API 实现对 Redshift 的即发即弃访问和 Step Functions 以编排 Lambda 函数,您可以创建一个低成本、轻量级的基础设施来执行各种集成和操作。这些可以包括根据您的需要触发其他工具/服务。这并非在所有情况下都是最佳方法,但由于 运行 时间限制,不应排除基于 Lambda 的解决方案。