从kafka消费者读取数据后如何将数据存储到特定目录？
How to store data into specific directories after reading it from kafka consumer?
我有一个 Kafka 主题，我需要使用消费者从中读取 JSON 数据，但根据数据中的特定标签，我需要将其存储在驱动器的不同目录中。
我该如何实现？可以直接解析数据再存储吗？
不清楚那些目录将存在于何处，但您可以尝试使用 HDFS Kafka Connect（它将与 HDFS 兼容的文件系统一起工作，包括本地磁盘） FieldPartitioner指定Kafka记录中哪些字段做成目录，格式为/topic-dir/topic-name/field1=value/field2=value
要写入本地磁盘，设置store.url=file:///some/path
否则，Spark、Flink、常规 Kafka 消费者等，您可以使用该数据并自行构建目录。
Can the data be directly parsed before storing it?
取决于您使用数据的方式...
我有一个 Kafka 主题，我需要使用消费者从中读取 JSON 数据，但根据数据中的特定标签，我需要将其存储在驱动器的不同目录中。
我该如何实现？可以直接解析数据再存储吗？
不清楚那些目录将存在于何处，但您可以尝试使用 HDFS Kafka Connect（它将与 HDFS 兼容的文件系统一起工作，包括本地磁盘） FieldPartitioner指定Kafka记录中哪些字段做成目录，格式为/topic-dir/topic-name/field1=value/field2=value
要写入本地磁盘，设置store.url=file:///some/path
否则，Spark、Flink、常规 Kafka 消费者等，您可以使用该数据并自行构建目录。
Can the data be directly parsed before storing it?
取决于您使用数据的方式...