如何将单个 csv 文件缓存到 Kafka 中的 KTable 中?

How to cache a single csv file into a KTable in Kafka?

我们有一种情况,我们必须在 Kafka KTable 中缓存和持久化 CSV 文件。在Kafka中可以吗?

根据我的研究,我们可以在KTable中读取一个CSV文件,但它不会被持久化(我这里可能是错的)。我无法在文档中找到与之相关的任何内容。

具体一点:

还有一件事:如果可能的话,它会逐行读取文件还是可以通过一个键发送整个文件?

谢谢!

这是可能的,是的,尽管我不确定我是否理解您为什么不将 CSV 本身作为行列表加载到应用程序中。

will it read the file line by line or the whole file can be sent too with a single key?

取决于您阅读文件的方式。你首先要向 Kafka 生成数据。 KTable 必须从主题而不是文件中消费

注意:Kafka 的最大消息默认大小为 1MB,不适用于文件传输

it won't be persisted

我不确定你是在哪里读到的。您可以将数据保存在一个紧凑的主题中,但是,您希望文件的每一行都有一些键