将 KafkaConnect 添加到现有的 Ambari 服务

Adding KafkaConnect to existing Ambari services

我有一个集群设置并由 Ambari 管理,但是我想添加一个 KafkaConnect docker 并利用已经通过 Ambari 设置的 Kafka 和 ZooKeeper。我只能找到 docker 部署 kafka-connect 与 zookeper 和 kafka 的图像,但是我在 docker 上不需要这些。

我应该研究什么,才能找到一个 docker 图像,让我使用现有的 kafka 和 zookeeper 服务?

假设 Kafka 0.10 由 Ambari 安装(由 Hortonworks HDP 或 HDF 完成),那么 Kafka Connect 已经包含在 Kafka 安装中。

Ambari 目前不提供任何机制来管理 Docker images/services 或 Kafka Connect API。

Flume、Spark 和 Nifi 是 Hortonworks 支持的 Ambari 管理方式,用于将 Kafka 数据导入 Hadoop。

如果您想要 Kafka Connect UI,您的选择包括 Landoop(免费)或 Confluent Control Center(已授权)

您可以独立使用 Docker Swarm + Portainer 等服务,例如在多台机器上管理 Docker 服务