是否可以合并 Azure 数据工厂数据流
Is it possible to merge Azure Data Factory data flows
我在 Azure 数据工厂中有两个独立的数据流,我想将它们组合成一个数据流。
有一种技术可以将元素从一个数据流复制到另一个数据流,如本视频中所述:https://www.youtube.com/watch?v=3_1I4XdoBKQ
但这不适用于 Source 或 Sink 阶段。脚本元素不包含源或接收器连接到的数据集,如果您尝试复制它们,设计器 window 将关闭并且数据流已损坏。详细信息在 JSON 中,但我已尝试复制并粘贴到 JSON 中,但这也不起作用 - 源出现在 canvas 中,但无法使用。
除了在 canvas 上手动重新创建对象之外,有人知道是否有执行此操作的技术吗?
感谢 Leon 确认这不受支持,这是我的解决方法。
- 打开将接收合并代码的数据流。
- 打开包含要合并的代码的数据流。
- 遍历要合并的流并更改与目标流中的转换名称冲突的任何转换的名称。
- 在目标流中手动创建任何尚不存在的源。
- 将待合并流程中的整个脚本复制到文本编辑器中。
- 删除源和汇。
- 将剩余的转换复制到剪贴板,并将它们粘贴到目标流的脚本编辑器中。
- 手动创建接收器,记得设置所有属性,例如“允许更新”。
请做好准备,如果您犯了错误并粘贴了不正确的内容,流程编辑器 window 将关闭并且流程将无法使用。恢复它的唯一方法是刷新并放弃自上次发布以来的所有更改,因此如果您不想丢失其他未发布的更改,请不要这样做!
我已经在我们的团队中建立了一种做法,即不在 Sinks 中进行任何映射。所有映射都在派生列转换中完成,任何列名歧义都在 Select 转换中解决,因此 Sink 始终只是自动映射。这使得像这样的操作更简单。
应该可以保留第 6 步中的 Source 定义,从目标脚本中删除 Source 元素,然后粘贴新的 Sources 来替换它们,但这有点复杂且容易出错。
我在 Azure 数据工厂中有两个独立的数据流,我想将它们组合成一个数据流。
有一种技术可以将元素从一个数据流复制到另一个数据流,如本视频中所述:https://www.youtube.com/watch?v=3_1I4XdoBKQ
但这不适用于 Source 或 Sink 阶段。脚本元素不包含源或接收器连接到的数据集,如果您尝试复制它们,设计器 window 将关闭并且数据流已损坏。详细信息在 JSON 中,但我已尝试复制并粘贴到 JSON 中,但这也不起作用 - 源出现在 canvas 中,但无法使用。
除了在 canvas 上手动重新创建对象之外,有人知道是否有执行此操作的技术吗?
感谢 Leon 确认这不受支持,这是我的解决方法。
- 打开将接收合并代码的数据流。
- 打开包含要合并的代码的数据流。
- 遍历要合并的流并更改与目标流中的转换名称冲突的任何转换的名称。
- 在目标流中手动创建任何尚不存在的源。
- 将待合并流程中的整个脚本复制到文本编辑器中。
- 删除源和汇。
- 将剩余的转换复制到剪贴板,并将它们粘贴到目标流的脚本编辑器中。
- 手动创建接收器,记得设置所有属性,例如“允许更新”。
请做好准备,如果您犯了错误并粘贴了不正确的内容,流程编辑器 window 将关闭并且流程将无法使用。恢复它的唯一方法是刷新并放弃自上次发布以来的所有更改,因此如果您不想丢失其他未发布的更改,请不要这样做!
我已经在我们的团队中建立了一种做法,即不在 Sinks 中进行任何映射。所有映射都在派生列转换中完成,任何列名歧义都在 Select 转换中解决,因此 Sink 始终只是自动映射。这使得像这样的操作更简单。
应该可以保留第 6 步中的 Source 定义,从目标脚本中删除 Source 元素,然后粘贴新的 Sources 来替换它们,但这有点复杂且容易出错。