将数据从平面文件加载到 Sql 服务器 table 并使用 SSIS 导出到 excel

Load data from flat file to Sql Server table and also export to excel using SSIS

问题陈述:要求很简单,我们有一个平面文件(基本上是 csv),我们需要将其加载到 [=13 中的一个表中=] 数据库。当我们必须派生一个新列(平面文件中不存在)并将其与文件中的其余列一起填充时,就会出现问题。 新列的推导逻辑是——找到“TransactionDate”的最大日期。

整个练习将在 SSIS 中执行,我们希望通过使用 DataFlowTask 来完成它,但仍然停留在如何派生新列然后将其添加到目标流程上.

想法:

  1. 使用DataFlowTask读取文件,然后将其存储在recordset中,这样在ControlFlow中我们将使用ScriptTask将其读取为DataTable并使用 LINQ 排序确定最大列并将其推送到另一个 DataFlow 以供 Sql table 使用(但我想这需要在数据库中创建 tabletype我会避免)
  2. DataFlowTask 本身执行整个操作,我们将需要 Asynchronous transformation(获取所有数据并找出最大值)

我们在这里有些想法外,任何线索都将不胜感激,如果在这方面需要任何进一步的信息,请告诉我们。

运行 一个数据流任务,用于将数据插入目标 table。接下来是执行 SQL 任务,该任务根据 table 中的值和 NULL(或其他新记录指示符)MaxTransactionDate.

计算 MAX(TransactionDate)