在更新数据流管道时强制更新 SideInput

Question

我有一个数据流管道 运行，它获取活动租户的配置（存储在 GCS 中）并将其作为 sideInput 提供给 ActiveTenantFilter。配置很少更新，因此我决定在更新时使用 --update 标志重新部署管道。

然而，当使用更新标志时，文件不会被再次获取，即状态保持不变。是否可以强制在重新部署管道时更新此 PCollectionView？

Answer 1

你是对的，当你--update一个管道时，它将处理新数据但不会重新加载旧数据。听起来您想要的是 slowly updating side inputs，遗憾的是尚未实现。您可以改为尝试排空并重新启动您的管道。