Kafka Connect 将数据写入不存在的主题
Kafka Connect writes data to non-existing topic
如果主题不存在(但作为目的地提供)或无法将消息复制到主题,Kafka Connect 是否会即时创建主题?
我至少需要即时或以编程方式 (Java API) 创建此类主题,而不是手动使用脚本。
我搜索了这个信息,但似乎必须在迁移之前创建主题
Kafka Connect 并不能真正控制它。
Kafka 中有一个设置可以enables/disables 自动创建主题。
如果打开 - Kafka Connect 将创建自己的主题,如果没有 - 您必须自己创建它们。
默认情况下,当消费者订阅不存在的主题时,Kafka 不会创建新主题。你应该在你的Kafka服务器配置文件中启用auto.create.topics.enable=true
,这会启用自动创建服务器上的主题数。
一旦你打开这个功能,Kafka 将自动动态创建主题。当应用程序尝试连接到不存在的主题时,Kafka 将自动创建该主题。
如果主题不存在(但作为目的地提供)或无法将消息复制到主题,Kafka Connect 是否会即时创建主题?
我至少需要即时或以编程方式 (Java API) 创建此类主题,而不是手动使用脚本。
我搜索了这个信息,但似乎必须在迁移之前创建主题
Kafka Connect 并不能真正控制它。
Kafka 中有一个设置可以enables/disables 自动创建主题。
如果打开 - Kafka Connect 将创建自己的主题,如果没有 - 您必须自己创建它们。
默认情况下,当消费者订阅不存在的主题时,Kafka 不会创建新主题。你应该在你的Kafka服务器配置文件中启用auto.create.topics.enable=true
,这会启用自动创建服务器上的主题数。
一旦你打开这个功能,Kafka 将自动动态创建主题。当应用程序尝试连接到不存在的主题时,Kafka 将自动创建该主题。