在 Kafka Connect 上为线程侦听器端口公开额外的端口

Question

我正在使用 Kafka Connect，并在我的连接器插件中启动了一个独立线程，该线程正在侦听端口（比如“9090”）。我想使用此端口允许应用程序（kafka 环境外部）与我的连接器插件进行通信。

我是运行 docker-compose 中的 Kafka Connect（和 kafka 环境）。

问题：如何在 docker compose 中公开端口，以便外部应用程序可以访问我的连接器插件线程侦听器端口？

这是我到目前为止的想法，但我需要在 kafka 连接组件上公开一个外部端口似乎很奇怪。这是一个合理的做法还是有更好的方法允许应用程序与我的连接插件线程侦听器端口通信？

下面是我的 docker-compose 文件的一部分，显示了我如何在连接上公开端口“9090”：

:
:
:
      connect:
        image: confluentinc/cp-kafka-connect:6.2.0
        hostname: connect
        container_name: connect
        depends_on:
          - zookeeper
          - kafka
        ports:
          - 8083:8083
          - 9090:9090
        environment:
          CONNECT_BOOTSTRAP_SERVERS: "kafka:9092"
          CONNECT_REST_PORT: 8083
          CONNECT_REST_ADVERTISED_HOST_NAME: "connect"
:
:
:

Answer 1

下面的解决方案与我的预期非常相似，并由@OneCricketeer 验证，但我在连接 docker-compose 配置中添加了一系列端口（下面是 9090-9094）。我还将使“侦听器”线程组件侦听的端口范围等于 tasks.max 的数量（在下面的示例中，它将是 5）。

:
:
:
      connect:
        image: confluentinc/cp-kafka-connect:6.2.0
        hostname: connect
        container_name: connect
        depends_on:
          - zookeeper
          - kafka
        ports:
          - 8083:8083
          - 9090-9094:9090-9094
        environment:
          CONNECT_BOOTSTRAP_SERVERS: "kafka:9092"
          CONNECT_REST_PORT: 8083
          CONNECT_REST_ADVERTISED_HOST_NAME: "connect"
:
:
:

在 Kafka Connect 上为线程侦听器端口公开额外的端口

Expose additional port on Kafka Connect for thread listener port

apache-kafka

docker-compose

apache-kafka-connect

confluent-platform