什么生产者收集网络服务器日志并将其转换为 avro 格式并写入 kafka?
What producer collect and convert webserver logs to avro format and write to kafka?
目前,我想收集 apache 网络服务器日志(access_logs、error_logs 文件)并以 Avro 格式写入 Kafka。是否有任何现有的生产者可以执行此操作?如果不能,请提供一种实现方法?我在 google 上进行了搜索,但没有成功。
喜欢http://grokbase.com/t/kafka/users/14851mg6mk/apache-webserver-access-logs-kafka-producer,但我想用Avro格式写。
提前致谢。
您可以使用 Logstash Kafka output with an Avro codec - 这应该可以满足您的需求。
目前,我想收集 apache 网络服务器日志(access_logs、error_logs 文件)并以 Avro 格式写入 Kafka。是否有任何现有的生产者可以执行此操作?如果不能,请提供一种实现方法?我在 google 上进行了搜索,但没有成功。
喜欢http://grokbase.com/t/kafka/users/14851mg6mk/apache-webserver-access-logs-kafka-producer,但我想用Avro格式写。
提前致谢。
您可以使用 Logstash Kafka output with an Avro codec - 这应该可以满足您的需求。