Kafka和Kafka Connect部署环境

Kafka and Kafka Connect deployment environment

如果我已经在本地安装了 Kafka 运行，Kafka Connect 只是我现有 Kafka 之上的一个配置，还是 Kafka Connect 需要它自己的 Server/Environment 与我现有 Kafka 的配置分开？

Kafka Connect 是在您的 bootstrap-server 配置之上的自己的配置。

对于 Kafka Connect，您可以在独立服务器或分布式连接服务器之间进行选择，并且您必须更新相应的属性文件以指向您当前的运行 Kafka 服务器。

在 {kafka-root}/config 下查看，您会看到

您基本上会根据需要更新连接独立或连接分布式属性。

Kafka Connect 是 Apache Kafka 的一部分，但它运行作为一个单独的进程，称为 Kafka Connect Worker。除了在沙盒环境中，您通常会将其部署在与 Kafka 代理不同的 machine/node 上。

此图从概念上展示了它运行如何与您的经纪人分开：

您可以运行 Kafka Connect 在单个节点上，或作为集群的一部分（用于吞吐量和冗余）。