手动安装 Kafka 连接器

Question

我正在尝试安装 Twitter 源连接器并找到以下链接 link1 and link2。第一个展示了如何安装 Twitter 源连接器，第二个展示了如何手动安装连接器（总是 Confluent Platform）。

但是我对整个过程感到困惑。我按照 here 中的步骤操作，到目前为止一切正常。但是，由于 Twitter 源连接器不在连接器中心的列表中，因此需要手动安装。根据 link1，我在某处克隆了一个 git 存储库 - 问题：我在哪里克隆它？在 docker-compose.yml 中有一堆服务。特别是，在我启动 yaml 后 docker-compose ps 显示

       Name                    Command                  State                         Ports
  ------------------------------------------------------------------------------------------------------------

   broker            /etc/confluent/docker/run        Up             0.0.0.0:9092->9092/tcp
   connect           /etc/confluent/docker/run        Up             0.0.0.0:8083->8083/tcp, 9092/tcp
   control-center    /etc/confluent/docker/run        Up             0.0.0.0:9021->9021/tcp
   ksql-datagen      bash -c echo Waiting for K ...   Up
   ksqldb-cli        /bin/sh                          Up
   ksqldb-server     /etc/confluent/docker/run        Up (healthy)   0.0.0.0:8088->8088/tcp
   rest-proxy        /etc/confluent/docker/run        Up             0.0.0.0:8082->8082/tcp
   schema-registry   /etc/confluent/docker/run        Up             0.0.0.0:8081->8081/tcp
   zookeeper         /etc/confluent/docker/run        Up             0.0.0.0:2181->2181/tcp, 2888/tcp, 3888/tcp

我不明白我应该对上面的哪一个执行link1的指令。是在 zookeeper、broker 还是 connect 中？欢迎任何帮助，如果有人有时间更彻底地围绕 link1 中的步骤写下几句话，请随意。干杯

Answer 1

Kafka Connect worker 中安装了连接器。它们必须在 worker 启动之前安装。

该博客文章有更新版本，此处：https://www.confluent.io/blog/stream-processing-twitter-data-with-ksqldb. Associated with that is a new demo, which you can find here: https://github.com/confluentinc/demo-scene/tree/master/ksqldb-twitter

作为演示的一部分，它安装了 Twitter 连接器 at runtime。它通过覆盖容器镜像的默认命令来实现这一点，而是在运行 connect worker 之前运行连接器安装：

    command: 
      - bash 
      - -c 
      - |
        echo "Installing connector plugins"
        confluent-hub install --no-prompt jcustenborder/kafka-connect-twitter:0.3.33
        #
        echo "Launching Kafka Connect worker"
        /etc/confluent/docker/run & 
        #
        sleep infinity

手动安装 Kafka 连接器

Install Kafka connector manually

apache-kafka

docker

apache-kafka-connect

confluent-platform