Kafka独立连接器是自动同步还是每次都需要重启
Does Kafka stand alone connector syncs automatically or it needs restart every time
我是卡夫卡的新手。我刚刚通过参考 confluent doc/guide.
中的步骤配置了一个 Kafka 独立连接器
Kafka 连接器的工作是从文件同步数据 - test.txt。
如果我更新 test.txt 中的任何内容,它不会自动推送到主题 - connect-test,而如果我重新启动连接器,来自 test.txt 的更新消息将被检测并推送到主题 - connect-test。
所以,我怀疑我是否必须安排此连接器来检测更改,或者它会根据某个时间间隔在内部自动执行此工作。
简短回答:一个 运行 连接器自动同步。
如果我没理解错的话,您希望将文件 text.txt
的内容推送到 kafka,从而允许您的 kafka-connector 从中读取新数据。
启动一个新的生产者,它将文件内容推送到您的主题:
$ kafka-console-producer.sh --broker-list localhost:9092 --topic connect-test
--new-producer < text.txt
添加新消息:
$ echo "new message" >> text.txt
并且此消息将显示在主题中。
如果您的 kafka-connector 运行 并且配置正确,它将从主题中检索消息。
我是卡夫卡的新手。我刚刚通过参考 confluent doc/guide.
中的步骤配置了一个 Kafka 独立连接器Kafka 连接器的工作是从文件同步数据 - test.txt。 如果我更新 test.txt 中的任何内容,它不会自动推送到主题 - connect-test,而如果我重新启动连接器,来自 test.txt 的更新消息将被检测并推送到主题 - connect-test。
所以,我怀疑我是否必须安排此连接器来检测更改,或者它会根据某个时间间隔在内部自动执行此工作。
简短回答:一个 运行 连接器自动同步。
如果我没理解错的话,您希望将文件 text.txt
的内容推送到 kafka,从而允许您的 kafka-connector 从中读取新数据。
启动一个新的生产者,它将文件内容推送到您的主题:
$ kafka-console-producer.sh --broker-list localhost:9092 --topic connect-test
--new-producer < text.txt
添加新消息:
$ echo "new message" >> text.txt
并且此消息将显示在主题中。
如果您的 kafka-connector 运行 并且配置正确,它将从主题中检索消息。