Kafka Connect 和 Kafka Streams commit interval 之间有关系吗?
Is there a relationship between Kafka Connect and Kafka Streams commit interval?
假设我们有一个 Kafka 接收器连接器从主题 TopicA
、
填充数据库
还有一个 Kafka Stream 应用程序将更新推送到 TopicA
主题。
我想知道是否:
Sink连接器更新到数据库的数据,
执行这些更新的时刻
受 Kafka Streams App 提交间隔的影响,如果是,如何影响?
- Kafka Stream App(是 Kafka 生产者和消费者)
- Kafka Sink 连接器(仅是 Kafka 消费者)
Kafka生产者对Kafka消费者的提交间隔完全没有影响。您只需要注意 Kafka 生产者不会比您的消费者更快,以避免消费者群体滞后。使用速度慢的用户可能会丢失数据。
我会说它们确实是相关的。
如果 Streams 生产者线程更频繁地提交,则数据更快地到达主题,因此 Connect Sink 将更快地拉取数据,最终对数据库调用更多查询。反之亦然,以减少吞吐量。
但是,每个组件都是单独可调的。
假设我们有一个 Kafka 接收器连接器从主题 TopicA
、
还有一个 Kafka Stream 应用程序将更新推送到 TopicA
主题。
我想知道是否:
Sink连接器更新到数据库的数据,
执行这些更新的时刻
受 Kafka Streams App 提交间隔的影响,如果是,如何影响?
- Kafka Stream App(是 Kafka 生产者和消费者)
- Kafka Sink 连接器(仅是 Kafka 消费者)
Kafka生产者对Kafka消费者的提交间隔完全没有影响。您只需要注意 Kafka 生产者不会比您的消费者更快,以避免消费者群体滞后。使用速度慢的用户可能会丢失数据。
我会说它们确实是相关的。
如果 Streams 生产者线程更频繁地提交,则数据更快地到达主题,因此 Connect Sink 将更快地拉取数据,最终对数据库调用更多查询。反之亦然,以减少吞吐量。
但是,每个组件都是单独可调的。