AWS Glue - 具有按需容量超慢的 DynamoDB

AWS Glue - DynamoDB with On-Demand Capacity Super Slow

我们有一个 AWS Glue 作业从设置为按需容量的 dynamodb table 中提取。但是,一旦我们将 table 更改为按需,胶水作业就需要很长时间才能完成。

据推测,粘合作业正在尝试使用部分可用读取容量...但这对新容量模型没有意义。

我们希望将我们所有的 table 移动到新的按需容量设置,但这对我们来说是一个障碍。

有什么想法吗?

"当 DynamoDB table 处于 on-demand 模式时,AWS Glue 将 table 的读取容量处理为 40000。对于导出大型 table,我们建议将 DynamoDB table 切换到 on-demand 模式。"

https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-etl-connect.html

以下不再正确


根据 AWS Documentation On-demand 当前不受 AWS Data Pipeline、DynamoDB import/export 工具和 AWS Glue 支持。因此,您需要谨慎选择要将哪些 table 移动到新的 on-demand 容量。