设置 Kafka Connect，无法重命名组 ID
Setting up Kafka Connect, cannot rename group ID
我正在使用我发现的 Github 存储库和文件夹路径：https://github.com/entechlog/kafka-examples/tree/master/kafka-connect-standalone
我遇到的问题是，作为访问控制的问题，我必须通过添加前缀来指定我的组 ID，我们称它为 abc-.当我构建这个 Docker 图像时，我检查了我的日志，我可以看到组 ID 最终是 connect-bq-sink-connector，我假设它是单词 connect- 与在 docker-compose 文件中看到的变量 CONNECTOR_NAME。当我更改连接器名称变量时，我的组 ID 也会更改（但 connect- 前缀始终保留）。您还将在 docker-compose 文件中看到一个名为 CONNECT_GROUP_ID 的变量。该变量似乎对 Kafka 连接实例完全没有影响。 Docker 日志给出了这个（按此顺序）：
WARN The configuration 'group.id' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig:380)
然后稍后...
...
group.id = connect-bq-sink-connector
最后一个错误，据我所知大部分都不重要，因为缺少权限，它很简单：
[2021-12-03 22:37:32,775] INFO [bq-sink-connector|task-0] [Consumer clientId=connector-consumer-bq-sink-connector-0, groupId=connect-bq-sink-connector] FindCoordinator request hit fatal exception (org.apache.kafka.clients.consumer.internals.AbstractCoordinator:260)
org.apache.kafka.common.errors.GroupAuthorizationException: Not authorized to access Group: connect-bq-sink-connector
等等两件事：我不明白为什么词 connect- 每次都作为结果组 ID 的前缀，以及为什么变量 CONNECT_GROUP_ID 似乎根本不起作用。
我想可能是图片前面强行硬编码了connect-。我通过将 docker 撰写文件中的第 50 行从 image: entechlog/cp-kafka-connect${CONFLUENT_VERSION_TAG} 更改为 image: confluentinc/cp-kafka:5.0.0 来尝试 运行 并且它没有任何改变。
是什么导致添加了这个前缀，我该如何覆盖它？如有必要，我可以保留单词 connect，但我只需要在其前面添加前缀 abc-。
如果您想更改连接组 ID，请在服务 kafka-connect 下添加环境变量名称 CONNECTOR_ 属性部分并设置您想要的值。
github实例启动步骤如下。
- 在文件
docker/Dockerfile 中，启动命令是 /etc/confluent/docker/run，您在 docker/include/etc/confluent/docker 中找不到该文件。
- 使用
docker/include/etc/confluent/docker/run 文件中的简单步骤 configure 和 launch 启动容器。
- 在文件
docker/include/etc/confluent/docker/configure中，检查CONNECT_BOOTSTRAP_SERVERS、CONNECT_KEY_CONVERTER、CONNECT_VALUE_CONVERTER...等强制性环境变量是否已设置，并使用[=22调用模板函数=] 和 kafka-connect.properties.template.
所以如果有配置要添加到kafka-connect-standalone.properties文件中，必须指定一个以CONNECTOR_开头的环境变量。
你可以在下面link.
找到kafka connect的所有配置
无法更改 Sink Connector 消费者组 ID 前缀
https://issues.apache.org/jira/browse/KAFKA-4400
CONNECT_GROUP_ID 仅适用于 Kafka Connect 分布式模式 集群，不适用于 Confluent 图像使用的消费者。我没有看到使用独立运行的链接图像有任何好处，因为它不能容错或可扩展（连接配置和状态存储在临时文件系统中而不是返回 Kafka）
我正在使用我发现的 Github 存储库和文件夹路径：https://github.com/entechlog/kafka-examples/tree/master/kafka-connect-standalone
我遇到的问题是，作为访问控制的问题，我必须通过添加前缀来指定我的组 ID，我们称它为 abc-.当我构建这个 Docker 图像时，我检查了我的日志，我可以看到组 ID 最终是 connect-bq-sink-connector，我假设它是单词 connect- 与在 docker-compose 文件中看到的变量 CONNECTOR_NAME。当我更改连接器名称变量时，我的组 ID 也会更改（但 connect- 前缀始终保留）。您还将在 docker-compose 文件中看到一个名为 CONNECT_GROUP_ID 的变量。该变量似乎对 Kafka 连接实例完全没有影响。 Docker 日志给出了这个（按此顺序）：
WARN The configuration 'group.id' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig:380)
然后稍后...
...
group.id = connect-bq-sink-connector
最后一个错误，据我所知大部分都不重要，因为缺少权限，它很简单：
[2021-12-03 22:37:32,775] INFO [bq-sink-connector|task-0] [Consumer clientId=connector-consumer-bq-sink-connector-0, groupId=connect-bq-sink-connector] FindCoordinator request hit fatal exception (org.apache.kafka.clients.consumer.internals.AbstractCoordinator:260)
org.apache.kafka.common.errors.GroupAuthorizationException: Not authorized to access Group: connect-bq-sink-connector
等等两件事：我不明白为什么词 connect- 每次都作为结果组 ID 的前缀，以及为什么变量 CONNECT_GROUP_ID 似乎根本不起作用。
我想可能是图片前面强行硬编码了connect-。我通过将 docker 撰写文件中的第 50 行从 image: entechlog/cp-kafka-connect${CONFLUENT_VERSION_TAG} 更改为 image: confluentinc/cp-kafka:5.0.0 来尝试 运行 并且它没有任何改变。
是什么导致添加了这个前缀，我该如何覆盖它？如有必要，我可以保留单词 connect，但我只需要在其前面添加前缀 abc-。
如果您想更改连接组 ID，请在服务 kafka-connect 下添加环境变量名称 CONNECTOR_ 属性部分并设置您想要的值。
github实例启动步骤如下。
- 在文件
docker/Dockerfile中，启动命令是/etc/confluent/docker/run，您在docker/include/etc/confluent/docker中找不到该文件。 - 使用
docker/include/etc/confluent/docker/run文件中的简单步骤configure和launch启动容器。 - 在文件
docker/include/etc/confluent/docker/configure中，检查CONNECT_BOOTSTRAP_SERVERS、CONNECT_KEY_CONVERTER、CONNECT_VALUE_CONVERTER...等强制性环境变量是否已设置，并使用[=22调用模板函数=] 和kafka-connect.properties.template.
所以如果有配置要添加到kafka-connect-standalone.properties文件中，必须指定一个以CONNECTOR_开头的环境变量。
你可以在下面link.
找到kafka connect的所有配置无法更改 Sink Connector 消费者组 ID 前缀
https://issues.apache.org/jira/browse/KAFKA-4400
CONNECT_GROUP_ID 仅适用于 Kafka Connect 分布式模式 集群，不适用于 Confluent 图像使用的消费者。我没有看到使用独立运行的链接图像有任何好处，因为它不能容错或可扩展（连接配置和状态存储在临时文件系统中而不是返回 Kafka）