来自 Kafka Consumer 的 Spark Streaming
Spark Streaming from Kafka Consumer
我可能需要使用 Kafka，而且我对它完全陌生。我知道有 Kafka 生产者会将日志（在 Kafka 中称为事件或消息或记录）发布到 Kafka 主题。
我需要通过消费者阅读 Kafka 主题。我是否需要先设置消费者 API 然后我可以使用 SparkStreaming Context(PySpark) 进行流式传输，或者我可以直接使用 KafkaUtils 模块从 kafka 主题中读取？
如果我需要设置 Kafka 消费者应用程序，我该怎么做？请分享正确文档的链接。
提前致谢！！
Spark 提供内部 kafka 流，您无需在其中创建自定义消费者，有 2 种方法可以通过接收器 2 连接 kafka 1。直接方法。
有关详细信息，请阅读此 link http://spark.apache.org/docs/latest/streaming-kafka-integration.html
无需设置kafka consumer application，Spark自身创建consumer有2种方式。一种是使用 KafkaUtils class 的基于接收器的方法，另一种是使用 CreateDirectStream 方法的直接方法。
不知何故，在 ion Spark 流式传输失败的任何情况下，都不会丢失数据，它从您离开的数据偏移量开始。
有关详细信息，请使用此 link：http://spark.apache.org/docs/latest/streaming-kafka-integration.html
我可能需要使用 Kafka，而且我对它完全陌生。我知道有 Kafka 生产者会将日志（在 Kafka 中称为事件或消息或记录）发布到 Kafka 主题。
我需要通过消费者阅读 Kafka 主题。我是否需要先设置消费者 API 然后我可以使用 SparkStreaming Context(PySpark) 进行流式传输，或者我可以直接使用 KafkaUtils 模块从 kafka 主题中读取？
如果我需要设置 Kafka 消费者应用程序，我该怎么做？请分享正确文档的链接。
提前致谢！！
Spark 提供内部 kafka 流，您无需在其中创建自定义消费者，有 2 种方法可以通过接收器 2 连接 kafka 1。直接方法。 有关详细信息，请阅读此 link http://spark.apache.org/docs/latest/streaming-kafka-integration.html
无需设置kafka consumer application，Spark自身创建consumer有2种方式。一种是使用 KafkaUtils class 的基于接收器的方法，另一种是使用 CreateDirectStream 方法的直接方法。 不知何故，在 ion Spark 流式传输失败的任何情况下，都不会丢失数据，它从您离开的数据偏移量开始。
有关详细信息，请使用此 link：http://spark.apache.org/docs/latest/streaming-kafka-integration.html