如何将 1000 万条消息播种到 Kafka 中？

Question

根据我对实时分析的要求，我必须将 1000 万条记录插入 Kafka，除此之外，我还必须编写自定义消费者 logic.But 来满足此要求，我如何将 1000 万条记录植入卡夫卡在 3-5 分钟内？

我们最好根据项目要求使用 Spring 引导。 请推荐

Answer 1

您可以试试 streamsets 工具，它有数据生成器功能。它快速生成数据。此外，这将帮助您使用连接器和 consumer/producer，事实上，您也可以在这里进行一些处理和过滤，因此理想情况下几乎不需要编码，您就完成了。

Answer 2

多个选项：

• kafka-connect-datagen, detailed in this article。

• 像kafkacat这样的命令行制作者：

  seq 1 10000000 | kafkacat -b localhost:9092 -t testtopic -P
  

  • 要获得更真实的测试数据，请使用此 in conjunction with Mockaroo

Answer 3

您可以在 for 循环中创建一个简单的生产者和 produce。我做到了，它就像一个魅力。 如果您不想生成 1 msg/sec...

，请不要忘记使用 .flush()