在 Eclipse 上开发 Spark Java 应用程序

Question

我正在尝试在 Eclipse 上开发 Spark 应用程序。过去，我曾成功地在 Eclipse 上设置 Spark Scala 项目。现在，我想在 Eclipse 上设置一个 Spark Java 应用程序。我假设我需要以某种方式使用 maven，但我不知道我应该如何使用它。任何帮助，将不胜感激。谢谢！

Answer 1

我最终按照说明从 here 为 Spark 创建了一个 Java Maven 项目。之后，我通过从包含 pom.xml.

的项目的根目录执行 mvn eclipse:eclipse 将 Maven 项目转换为 Eclipse 项目

Answer 2

您可以在 Eclipse 中将您的项目创建为 Maven 项目，编辑 pom 并添加您需要的 spark 依赖项（core, mllib, etc.), then start with the java spark examples 提供并根据您尝试解决的问题从那里扩展重构。如果您有更具体的问题，我很乐意提供帮助。

Answer 3

如果你使用的是 spark streaming、kafka 等，请在 pom 中添加以下依赖项

<dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.10</artifactId>
            <version>1.6.1</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.10</artifactId>
            <version>1.6.1</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.10</artifactId>
            <version>.6.1</version>
            <scope>provided</scope>
        </dependency>

在 Eclipse 上开发 Spark Java 应用程序

Developing Spark Java Applications on Eclipse

eclipse

maven

apache-spark