Spark Streaming Context 阻塞 REST 端点
Spark Streaming Context blocking REST endpoints
我正在使用 Spring Boot、Kafka 和 Spark 开发一个小项目。到目前为止,我已经能够在一个项目中创建一个 Kafka 生产者和一个 Spark-Kafka 直接流作为消费者。
我能够看到消息通过并且一切似乎都在按预期进行。但是,我在 运行 消费者的项目上有一个休息端点。每当我禁用 Direct Stream 时,端点都可以正常工作。但是,当我收到流 运行 时,Postman 说没有响应。我在服务器日志中看不到任何表明曾收到过请求的信息。
Spark 消费者在项目启动时由 bean 启动。这会阻止 localhost:8080 上的普通服务器启动吗?
最初我通过将 StreamingContext 注释为 Bean 来启动它。我改为让应用程序实现 CommandLineRunner,并在重写的 运行 方法中,我调用了启动 Streaming Context 的方法。这允许 Apache 启动并解决了问题。
我正在使用 Spring Boot、Kafka 和 Spark 开发一个小项目。到目前为止,我已经能够在一个项目中创建一个 Kafka 生产者和一个 Spark-Kafka 直接流作为消费者。
我能够看到消息通过并且一切似乎都在按预期进行。但是,我在 运行 消费者的项目上有一个休息端点。每当我禁用 Direct Stream 时,端点都可以正常工作。但是,当我收到流 运行 时,Postman 说没有响应。我在服务器日志中看不到任何表明曾收到过请求的信息。
Spark 消费者在项目启动时由 bean 启动。这会阻止 localhost:8080 上的普通服务器启动吗?
最初我通过将 StreamingContext 注释为 Bean 来启动它。我改为让应用程序实现 CommandLineRunner,并在重写的 运行 方法中,我调用了启动 Streaming Context 的方法。这允许 Apache 启动并解决了问题。