为什么 ADF 数据集很重要?
Why are ADF datasets important?
在 Azure 数据工厂 v2 中,我创建了许多管道。我注意到我创建的每个管道都创建了一个源数据集和目标数据集。
根据 ADF 文档:数据集是数据的命名视图,它只是指向或引用您要在活动中用作输入和输出的数据。
这些数据集在我的数据工厂中可见。我很好奇为什么我会关心这些?这些几乎看起来像是 ADF 创建的用于移动数据的 'under the hood' 个对象。这些对我有什么价值,我为什么要关心它们?
如果您通过复制向导工具创建管道,您可能会在工厂中看到这些。这将为您的源和接收器创建数据集。副本 Activity 是 ADF 管道中数据集的主要使用者。
这些数据集是可以重复使用的实体。例如,如果这些管道需要相同的数据(相同的 table 或相同的文件),数据集 A 可以被许多管道引用。
链接服务也可以重复使用。我想这就是 ADF 有这些概念的原因。
如果您使用 ADFv2 转换数据,则不需要 DataSet。但是如果你使用ADF copyactivity来复制数据,DataSet是用来让ADF知道要复制的对象的路径和名称from/to。一旦创建了一个数据集,它就可以在许多管道中使用。您能否帮助我更多地了解为什么创建数据集对您的项目造成阻碍?
在 Azure 数据工厂 v2 中,我创建了许多管道。我注意到我创建的每个管道都创建了一个源数据集和目标数据集。
根据 ADF 文档:数据集是数据的命名视图,它只是指向或引用您要在活动中用作输入和输出的数据。
这些数据集在我的数据工厂中可见。我很好奇为什么我会关心这些?这些几乎看起来像是 ADF 创建的用于移动数据的 'under the hood' 个对象。这些对我有什么价值,我为什么要关心它们?
如果您通过复制向导工具创建管道,您可能会在工厂中看到这些。这将为您的源和接收器创建数据集。副本 Activity 是 ADF 管道中数据集的主要使用者。
这些数据集是可以重复使用的实体。例如,如果这些管道需要相同的数据(相同的 table 或相同的文件),数据集 A 可以被许多管道引用。 链接服务也可以重复使用。我想这就是 ADF 有这些概念的原因。
如果您使用 ADFv2 转换数据,则不需要 DataSet。但是如果你使用ADF copyactivity来复制数据,DataSet是用来让ADF知道要复制的对象的路径和名称from/to。一旦创建了一个数据集,它就可以在许多管道中使用。您能否帮助我更多地了解为什么创建数据集对您的项目造成阻碍?