SSIS - 同一包的并行执行

SSIS - Parallel execution of same package

我试图通过 运行 并行处理同一个包来加快我的 ETL 时间,但我在寻找将数据保存到目的地的好方法时遇到了问题。

设置:

  1. 在 OLTP 中订购 table。
  2. 事实 table 按月划分。
  3. 需要 PostedDate(订单付款时间)和 ShipDate。
  4. 订单可以在下个月发货。
  5. 由于这是一个新的数据仓库,我试图每个月都并行构建历史数据。
  6. 使用 SSIS 2014。

目标:

  1. 一个 ETL 过程,每个月从订单 table 中提取的数据并行运行。

到目前为止我做了什么:

  1. 创建了一个每月循环的存储过程。
  2. SP 为该时期动态创建一个具有唯一名称的分段 table。

    StagingTable_'Month'

  3. 然后创建并执行我的 ETL 过程的 SSIS 包实例。
  4. 在包中,我试图将数据保存到正确的分段 table,但我找不到动态执行此操作的方法。

我们的想法是能够并行创建每个月,然后一次切换所有分区。而不是因为内存容量而批量进行。

有人有什么想法吗?

在容器中创建一个用户变量来存储目的地 table 名称,然后在您的目的地中使用表达式来使用此变量而不是 table 名称本身。