SSIS - 同一包的并行执行
SSIS - Parallel execution of same package
我试图通过 运行 并行处理同一个包来加快我的 ETL 时间,但我在寻找将数据保存到目的地的好方法时遇到了问题。
设置:
- 在 OLTP 中订购 table。
- 事实 table 按月划分。
- 需要 PostedDate(订单付款时间)和 ShipDate。
- 订单可以在下个月发货。
- 由于这是一个新的数据仓库,我试图每个月都并行构建历史数据。
- 使用 SSIS 2014。
目标:
- 一个 ETL 过程,每个月从订单 table 中提取的数据并行运行。
到目前为止我做了什么:
- 创建了一个每月循环的存储过程。
- SP 为该时期动态创建一个具有唯一名称的分段 table。
StagingTable_'Month'
- 然后创建并执行我的 ETL 过程的 SSIS 包实例。
- 在包中,我试图将数据保存到正确的分段 table,但我找不到动态执行此操作的方法。
我们的想法是能够并行创建每个月,然后一次切换所有分区。而不是因为内存容量而批量进行。
有人有什么想法吗?
在容器中创建一个用户变量来存储目的地 table 名称,然后在您的目的地中使用表达式来使用此变量而不是 table 名称本身。
我试图通过 运行 并行处理同一个包来加快我的 ETL 时间,但我在寻找将数据保存到目的地的好方法时遇到了问题。
设置:
- 在 OLTP 中订购 table。
- 事实 table 按月划分。
- 需要 PostedDate(订单付款时间)和 ShipDate。
- 订单可以在下个月发货。
- 由于这是一个新的数据仓库,我试图每个月都并行构建历史数据。
- 使用 SSIS 2014。
目标:
- 一个 ETL 过程,每个月从订单 table 中提取的数据并行运行。
到目前为止我做了什么:
- 创建了一个每月循环的存储过程。
- SP 为该时期动态创建一个具有唯一名称的分段 table。
StagingTable_'Month'
- 然后创建并执行我的 ETL 过程的 SSIS 包实例。
- 在包中,我试图将数据保存到正确的分段 table,但我找不到动态执行此操作的方法。
我们的想法是能够并行创建每个月,然后一次切换所有分区。而不是因为内存容量而批量进行。
有人有什么想法吗?
在容器中创建一个用户变量来存储目的地 table 名称,然后在您的目的地中使用表达式来使用此变量而不是 table 名称本身。