Kafka Connect 和 Kafka Streams commit interval 之间有关系吗?

Is there a relationship between Kafka Connect and Kafka Streams commit interval?

假设我们有一个 Kafka 接收器连接器从主题 TopicA

填充数据库

还有一个 Kafka Stream 应用程序将更新推送到 TopicA 主题。

我想知道是否:

受 Kafka Streams App 提交间隔的影响,如果是,如何影响?

  • Kafka Stream App(是 Kafka 生产者和消费者
  • Kafka Sink 连接器(仅是 Kafka 消费者)

Kafka生产者对Kafka消费者的提交间隔完全没有影响。您只需要注意 Kafka 生产者不会比您的消费者更快,以避免消费者群体滞后。使用速度慢的用户可能会丢失数据。

我会说它们确实是相关的。

如果 Streams 生产者线程更频繁地提交,则数据更快地到达主题,因此 Connect Sink 将更快地拉取数据,最终对数据库调用更多查询。反之亦然,以减少吞吐量。

但是,每个组件都是单独可调的。