kafka 能否连接 - mongo source 运行 as cluster (max.tasks > 1)
Can kafka connect - mongo source run as cluster (max.tasks > 1)
我正在使用 kafka-connect 支持的以下 mongo-source。
我发现 mongo 来源（来自 here）的配置之一是 tasks.max.
这意味着我可以提供 > 1 的连接器 tasks.max，但我不明白它在幕后会做什么？
如果它会创建多个连接器来侦听 mongoDb 更改流，那么我将得到重复的消息。那么， mongo-source 是否真的具有并行性并作为集群工作？如果它有超过 1 个 tasks.max，它会做什么？
Mongo-source 不支持 tasks.max > 1。即使您将其设置为大于 1，也只有 一个 任务将从 mongo到卡夫卡。
创建多少任务取决于特定的连接器。函数 List<Map<String, String>> Connector::taskConfigs(int maxTasks)，（在您的连接器实施期间应该被覆盖）return 列表，其大小决定任务的数量。
如果您检查 mongo-kafka 源连接器，您会看到它是 singletonList。
我正在使用 kafka-connect 支持的以下 mongo-source。 我发现 mongo 来源（来自 here）的配置之一是 tasks.max.
这意味着我可以提供 > 1 的连接器 tasks.max，但我不明白它在幕后会做什么？
如果它会创建多个连接器来侦听 mongoDb 更改流，那么我将得到重复的消息。那么， mongo-source 是否真的具有并行性并作为集群工作？如果它有超过 1 个 tasks.max，它会做什么？
Mongo-source 不支持 tasks.max > 1。即使您将其设置为大于 1，也只有 一个 任务将从 mongo到卡夫卡。
创建多少任务取决于特定的连接器。函数 List<Map<String, String>> Connector::taskConfigs(int maxTasks)，（在您的连接器实施期间应该被覆盖）return 列表，其大小决定任务的数量。
如果您检查 mongo-kafka 源连接器，您会看到它是 singletonList。