如何将单个 csv 文件缓存到 Kafka 中的 KTable 中?
How to cache a single csv file into a KTable in Kafka?
我们有一种情况,我们必须在 Kafka KTable 中缓存和持久化 CSV 文件。在Kafka中可以吗?
根据我的研究,我们可以在KTable中读取一个CSV文件,但它不会被持久化(我这里可能是错的)。我无法在文档中找到与之相关的任何内容。
具体一点:
- 我们需要获取 CSV 文件。
- 将其发送到 KTable 并cache/persist保持原样。
还有一件事:如果可能的话,它会逐行读取文件还是可以通过一个键发送整个文件?
谢谢!
这是可能的,是的,尽管我不确定我是否理解您为什么不将 CSV 本身作为行列表加载到应用程序中。
will it read the file line by line or the whole file can be sent too with a single key?
取决于您阅读文件的方式。你首先要向 Kafka 生成数据。 KTable 必须从主题而不是文件中消费
注意:Kafka 的最大消息默认大小为 1MB,不适用于文件传输
it won't be persisted
我不确定你是在哪里读到的。您可以将数据保存在一个紧凑的主题中,但是,您希望文件的每一行都有一些键
我们有一种情况,我们必须在 Kafka KTable 中缓存和持久化 CSV 文件。在Kafka中可以吗?
根据我的研究,我们可以在KTable中读取一个CSV文件,但它不会被持久化(我这里可能是错的)。我无法在文档中找到与之相关的任何内容。
具体一点:
- 我们需要获取 CSV 文件。
- 将其发送到 KTable 并cache/persist保持原样。
还有一件事:如果可能的话,它会逐行读取文件还是可以通过一个键发送整个文件?
谢谢!
这是可能的,是的,尽管我不确定我是否理解您为什么不将 CSV 本身作为行列表加载到应用程序中。
will it read the file line by line or the whole file can be sent too with a single key?
取决于您阅读文件的方式。你首先要向 Kafka 生成数据。 KTable 必须从主题而不是文件中消费
注意:Kafka 的最大消息默认大小为 1MB,不适用于文件传输
it won't be persisted
我不确定你是在哪里读到的。您可以将数据保存在一个紧凑的主题中,但是,您希望文件的每一行都有一些键