管道中的 AWS s3 源是否有检测实际文件更改的方法?
Is there a way for AWS s3 source in pipeline to detect actual file changes?
我已将 s3 存储桶配置为我的管道的来源。
但是每当我上传文件时,管道都会触发,无论新更新的文件是否正是 same/no 更改。
我想知道是否有一个配置只会触发管道来检测文件的实际更改。
put 实际发生了,所以从S3 的角度来看,对象已经改变了。因此管道将启动,即使新文件恰好与旧文件相同。毕竟,你还会看到版本历史中添加了一个以前的对象版本等等
如果您控制上传过程,我建议首先获取对象元数据,并且仅在实际不匹配时才放置更新版本(例如,不同的 MD5 哈希值)。这是有道理的,因为它还可以节省上传本身。
我已将 s3 存储桶配置为我的管道的来源。
但是每当我上传文件时,管道都会触发,无论新更新的文件是否正是 same/no 更改。
我想知道是否有一个配置只会触发管道来检测文件的实际更改。
put 实际发生了,所以从S3 的角度来看,对象已经改变了。因此管道将启动,即使新文件恰好与旧文件相同。毕竟,你还会看到版本历史中添加了一个以前的对象版本等等
如果您控制上传过程,我建议首先获取对象元数据,并且仅在实际不匹配时才放置更新版本(例如,不同的 MD5 哈希值)。这是有道理的,因为它还可以节省上传本身。