Kafka Connect - 删除带有配置的连接器？

Question

我知道如何删除此处提到的 Kafka 连接器

但我不确定它是否还 delete/erase 来自 *.sorage.topic 的特定连接器相关配置、偏移量和状态？

例如： 假设我删除了一个连接器名称为 "connector-abc-1.0.0" 的连接器，并且 Kafka connect worker 是使用以下配置启动的。

offset.storage.topic=<topic.name>.internal.offsets
config.storage.topic=<topic.name>.internal.configs
status.storage.topic=<topic.name>.internal.status

现在，在对该连接器进行 DELETE 调用后，它会从该特定连接器的上述内部主题中删除所有记录吗？
这样我就可以在同一个 worker 上使用不同的配置（不同的 offset.start 或 connector.class）创建带有 "same name" 的新连接器？

Answer 1

删除连接器时，偏移量将保留在偏移量主题中。如果您重新创建具有相同名称的连接器，它将重新使用上一次执行的偏移量（即使连接器在其间被删除）。

Answer 2

由于 Kafka 是仅附加的，因此删除这些 Conncet 主题中的消息的唯一方法是使用连接器名称作为消息键并使用 null 作为值发布。

您可以使用控制台消费者检查这些主题以查看其中包含哪些数据，包括 --property print.key=true，并在您删除连接器时保留消费者运行。

您可以 PUT 在 /connectors/{name}/config 处进行新配置，但使用的任何特定偏移量都取决于实际的连接器类型（接收器/源）；例如，有内部 Kafka __consumer_offsets 主题以及 offset.storage.topic。考虑到这一点，我不确定更改 connector.class 是否是个好主意

Kafka Connect - 删除带有配置的连接器？

Kafka Connect - Delete Connector with configs?

apache-kafka

apache-kafka-connect