迭代 AWS Glue DynamicFrame

Question

我是 AWS Glue 的新手，仍在尝试解决问题，我尝试使用谷歌搜索以下内容，但找不到答案...

有人知道如何在 AWS Glue 作业脚本中迭代 DynamicFrame 吗？

例如，我正在尝试执行以下操作：

datasource0 = glueContext.create_dynamic_frame.from_catalog(
                        database = "...", 
                        table_name = "...", 
                        transformation_ctx = "datasource0")

for r in datasource0:
    print(r)

但是收到以下错误：

'DynamicFrame' object is not iterable
Traceback (most recent call last):
TypeError: 'DynamicFrame' object is not iterable

Answer 1

将 Glue 的 DynamicFrame 转换为 Spark 的 DataFrame 并使用 foreach 函数迭代行：

def f(row):
   print(row.name)

...

datasource0.toDF().foreach(f)