使用 Azure 数据工厂将来自 Facebook 的复杂数组展平
Flatten complex array from Facebook using Azure data factory
使用 Azure 数据工厂中的 REST 连接器,我正在尝试获取 Facebook 活动详细信息。
在管道中,我有一个网络 activity,然后是副本 activity。在映射部分,我只能看到第一个数组中的三列(Id、名称、状态),而没有在第二个数组中列出这些列。
graph.facebook.com
data factory mapping
有没有办法让列列在数组中?我还尝试创建一个以 Json 文件为源的数据流,然后使用展平转换,但我仍然看不到与活动相关的列。任何帮助表示赞赏。再次感谢。
我测试发现数据工厂会将第一个 object/JSON 数组视为 JSON 架构。
如果你能调整JSON数据,那么“洞察力”就可以识别:
架构:
如果你做不到,那么“见解”栏将被遗漏:
在这种情况下,无法获取数组中列出的所有列。
HTH.
@Leon Yue,我找到办法了。
第 1 步:1. 使用 REST 连接器复制 Facebook 活动数据并在 Azure Blob 中另存为 JSON。
Step 1: copy activity to extract FB data as JSON and save in Blob
第 2 步:2. 创建数据流,将 Blob 中的 JSON 文件作为源。
Step 2: Data flow task
第 3 步:创建一个 JSON 架构并将其保存在您的桌面上,第一行的洞察数组(具有所有列值)根据您之前的评论,我创建了 JSON 架构,这样 ADF 就会将第一个对象/ JSON 数组视为 JSON 架构。
第 4 步:在数据流 - 源数据集中,使用示例文件中的 'Import schema' 选项映射 JSON 模式。
Step 4: Import schema
现在您将能够看到数组中的所有列。
All columns
Flatten JSON
使用 Azure 数据工厂中的 REST 连接器,我正在尝试获取 Facebook 活动详细信息。 在管道中,我有一个网络 activity,然后是副本 activity。在映射部分,我只能看到第一个数组中的三列(Id、名称、状态),而没有在第二个数组中列出这些列。
graph.facebook.com
data factory mapping
有没有办法让列列在数组中?我还尝试创建一个以 Json 文件为源的数据流,然后使用展平转换,但我仍然看不到与活动相关的列。任何帮助表示赞赏。再次感谢。
我测试发现数据工厂会将第一个 object/JSON 数组视为 JSON 架构。
如果你能调整JSON数据,那么“洞察力”就可以识别:
架构:
如果你做不到,那么“见解”栏将被遗漏:
在这种情况下,无法获取数组中列出的所有列。
HTH.
@Leon Yue,我找到办法了。
第 1 步:1. 使用 REST 连接器复制 Facebook 活动数据并在 Azure Blob 中另存为 JSON。
Step 1: copy activity to extract FB data as JSON and save in Blob
第 2 步:2. 创建数据流,将 Blob 中的 JSON 文件作为源。
Step 2: Data flow task
第 3 步:创建一个 JSON 架构并将其保存在您的桌面上,第一行的洞察数组(具有所有列值)根据您之前的评论,我创建了 JSON 架构,这样 ADF 就会将第一个对象/ JSON 数组视为 JSON 架构。
第 4 步:在数据流 - 源数据集中,使用示例文件中的 'Import schema' 选项映射 JSON 模式。 Step 4: Import schema
现在您将能够看到数组中的所有列。 All columns
Flatten JSON