MirrorSourceConnector 不消耗
MirrorSourceConnector not consuming
我在 Kafka-Connect 中有以下连接器 运行:
{
"connector.class": "org.apache.kafka.connect.mirror.MirrorSourceConnector",
"sync.topic.acls.enabled": "false",
"topics": "foo",
"topic.rename.format": "bar",
"source.cluster.alias": "mycluster",
"target.cluster.bootstrap.servers": "server01:9092",
"sync.topic.configs.enabled": "false",
"source.cluster.bootstrap.servers": "server01:9092"
}
当消息(包含字符串)生成到 foo 时,没有任何内容会被镜像到 bar。
查看 foo 的已保存消费者偏移量时,有 none.
所以我希望 MirrorSourceConnector
中的某些内容不起作用。遗憾的是,我似乎无法在日志中找到任何错误消息,Rest API 报告连接器为 RUNNING
.
有没有办法找出真正的问题并让它正常工作?
查看源代码,MirrorSourceConnector
未处理 Happy-Path 之外的任何内容。因此,它不准备使用相同的集群并关闭 rails(主题轰炸 Kafka 集群)。
此外,Connect 集群 bootstrap 服务器需要匹配 target.cluster.bootstrap.servers
。
我在 Kafka-Connect 中有以下连接器 运行:
{
"connector.class": "org.apache.kafka.connect.mirror.MirrorSourceConnector",
"sync.topic.acls.enabled": "false",
"topics": "foo",
"topic.rename.format": "bar",
"source.cluster.alias": "mycluster",
"target.cluster.bootstrap.servers": "server01:9092",
"sync.topic.configs.enabled": "false",
"source.cluster.bootstrap.servers": "server01:9092"
}
当消息(包含字符串)生成到 foo 时,没有任何内容会被镜像到 bar。 查看 foo 的已保存消费者偏移量时,有 none.
所以我希望 MirrorSourceConnector
中的某些内容不起作用。遗憾的是,我似乎无法在日志中找到任何错误消息,Rest API 报告连接器为 RUNNING
.
有没有办法找出真正的问题并让它正常工作?
查看源代码,MirrorSourceConnector
未处理 Happy-Path 之外的任何内容。因此,它不准备使用相同的集群并关闭 rails(主题轰炸 Kafka 集群)。
此外,Connect 集群 bootstrap 服务器需要匹配 target.cluster.bootstrap.servers
。