Kafka Connect 可以成为我的 Hadoop 集群的一部分吗?

Can Kafka Connect be part of my Hadoop Cluster?

我目前正在使用一个10个节点(1个Name Node和9个Data Node)的Hadoop集群,其中Hbase、Hive、Kafka、Zookeeper等Hadoop的echo系统是运行。现在我想从 RDBMS 中获取数据并实时将其存储在 HDFS 中。我们可以通过在同一个集群中使用 Confluent Source Connector 和 HDFS2 Sink Connector 来做到这一点,还是我需要为 Kafka Connect 使用一个单独的集群?

是的。 Kafka Connect 是一个独立的 Java 进程,就像您提到的每个其他组件一样。

do I need to have a separate cluster for Kafka Connect

这是首选,但可选