如何从 ADF 复制数据中获取给定列的最大值 activity

Question

我有一个内部部署的副本数据 activity SQL 服务器作为源，ADLS Gen2 作为接收器。有一个控件 table 用于获取 tableName、watermarkDateColumn 和 watermarkDatetime 以从源数据库中提取增量数据。

在接收器中的数据 pulled/loaded 之后，我想获取数据集中 watermarkDateColumn 的最大值。可以从@activity('copyActivity1').output获取吗？

不允许我使用额外的查找 activity 来查询来源 table 以获得管道中的 max(watermarkDateColumn)。

Answer 1

复制activity只能用于数据传输，不能用于任何其他聚合功能。所以 @activity('copyActivity1').output 将无济于事。既然你说你不能使用查找 activity，恐怕你的要求目前还不可用。

如果您不想使用额外的活动，我建议您使用数据流 Activity 而不是 flexible.There 数据流 Activity 中的 built-in aggregation 功能。