如何为具有多个分区的 Kafka 主题启动多个消费者？
How can I start multiple consumers for a Kafka topic with multiple partitions?
我最近开始使用 spark 并且必须处理一个情况，我需要在 spark 中使用 Kafka 主题的多个分区。如何启动多个消费者？我是否需要使用相同组 ID 的相同应用程序 运行 的多个实例？还是在启动应用程序时我可以使用任何配置并在内部完成该工作？
通过 --num-executors 并且每个执行器使用一个以上的核心将在 Spark 中产生多个消费者线程
每个消费者线程都映射到一个分区。
使线程总数等于分区总数以最大化分布式吞吐量
我最近开始使用 spark 并且必须处理一个情况，我需要在 spark 中使用 Kafka 主题的多个分区。如何启动多个消费者？我是否需要使用相同组 ID 的相同应用程序 运行 的多个实例？还是在启动应用程序时我可以使用任何配置并在内部完成该工作？
通过 --num-executors 并且每个执行器使用一个以上的核心将在 Spark 中产生多个消费者线程
每个消费者线程都映射到一个分区。
使线程总数等于分区总数以最大化分布式吞吐量