Logstash 或 Elasticsearch 与 Apache Spark 流的集成

Question

是否可以将来自 Logstash 或 Elasticsearch 的实时日志输入流接收到 Spark Streaming 中？

我看到有一个内置的 Flume 接收器。但是任何现有的 Logstash 或 Elasticsearch 自定义接收器？

Answer 1

可能目前最好的解决方案似乎是使用 kafka 的 logstash 输出插件，然后使用 spark kafka 接收器读取 kafka 主题

http://spark.apache.org/docs/latest/streaming-kafka-integration.html