使用 SSIS 插入记录而不插入预先存在的记录

Using SSIS to insert records without inserting preexisting records

我有一个 2.9 亿的源数据集,我每天下载 1200 万条记录,其中包含前几天下载的数据。我无法将每日记录插入到源中并排除我已有的记录。一些新的记录可能不是前一天的,它们可能是几天前的,因此日期限制不起作用。请帮忙。

我刚刚在你的 SSIS 数据流中遇到了这个完全相同的问题,你需要添加一个查找。让它根据 PK 将您插入的数据与新数据相匹配。那么你可以从这里分离数据,选择Redirect Rows to no match output。这将使绿色箭头包含所有不存在的数据。

Lookup component using a key field and with the no match output, do an insert(你也可以用 match 输出做一个更新;虽然 2.9 亿行需要 一个 WHILE)...