如何使用数据管道中的实例队列旋转 EMR 集群?

How to spin EMR clusters with instance fleets from data pipeline?

我使用数据管道来安排 emr 作业。到目前为止,我一直在为 emr 集群使用统一的实例组。我想试用实例队列来减少对特定实例类型和可用区的依赖。但是查看数据管道文档 (https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-emrcluster.html),找不到任何实例队列配置参数。

我们如何在数据管道中为 emr 集群指定实例队列配置?

对于寻找相同内容的任何人:https://medium.com/@sid_sharma/event-driven-serverless-architecture-for-supporting-emr-spot-instance-fleet-in-aws-datapipeline-2272995022d1。 简而言之,不能仅使用数据管道直接这样做。