使用 Dataflow 生成自执行 JAR

Question

按照 link 中的说明，尝试构建用于在 Airflow 中调度数据流作业的 JAR 文件。在 dependency 部分添加相关依赖，并在 POM 文件的 build 部分给出 main class 名称。当我使用下面的 maven 命令执行数据流作业时，出现以下错误。

谁能指导我解决这个问题。

Maven 命令

- mvn package 
- java -jar target/sample-1.0.0.jar

错误信息：

Error: A JNI error has occurred, please check your installation and try again
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/beam/sdk/options/PipelineOptions
        at java.lang.Class.getDeclaredMethods0(Native Method)
        at java.lang.Class.privateGetDeclaredMethods(Unknown Source)
        at java.lang.Class.privateGetMethodRecursive(Unknown Source)
        at java.lang.Class.getMethod0(Unknown Source)
        at java.lang.Class.getMethod(Unknown Source)
        at sun.launcher.LauncherHelper.validateMainClass(Unknown Source)
        at sun.launcher.LauncherHelper.checkAndLoadMain(Unknown Source)
Caused by: java.lang.ClassNotFoundException: org.apache.beam.sdk.options.PipelineOptions

我的管道文件

public interface DefaultOptions extends PipelineOptions,GcpOptions,ApplicationNameOptions,DataflowPipelineDebugOptions,DataflowPipelineWorkerPoolOptions,
BigQueryOptions,GcsOptions,StreamingOptions,CloudDebuggerOptions,DataflowProfilingOptions,PubsubOptions {

我在 class 文件中的管道初始化

PipelineOptionsFactory.register(DefaultOptions.class);

DefaultOptions options = PipelineOptionsFactory.fromArgs(args).withValidation().as(DefaultOptions.class);
options.setRunner(DataflowRunner.class);
options.setProject(options.getDataFlowProjectName());
options.setTempLocation(options.getDataFlowProjectTempLocation());
options.setGcpTempLocation(options.getDataFlowProjectTempLocation());
Pipeline p = Pipeline.create(options);

POM 文件：

     <dependency>
        <groupId>org.apache.beam</groupId>
        <artifactId>beam-runners-google-cloud-dataflow-java</artifactId>
        <version>2.11.0</version>
     </dependency>

      <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-jar-plugin</artifactId>
                <version>3.1.1</version>
                <configuration>
                    <archive>
                        <manifest>
                            <addClasspath>true</addClasspath>
                            <classpathPrefix>lib/</classpathPrefix>
                            <mainClass>SampleWindowJar</mainClass>
                        </manifest>
                    </archive>
                </configuration>
            </plugin>

Answer 1

Cloud Dataflow 依赖项不是您需要的唯一依赖项。您还需要所有与 Beam SDK 相关的依赖项。获取它们的最简单方法是使用 Beam 提供的 Maven 原型：

https://beam.apache.org/get-started/quickstart-java/

mvn archetype:generate \
      -DarchetypeGroupId=org.apache.beam \
      -DarchetypeArtifactId=beam-sdks-java-maven-archetypes-starter \
      -DarchetypeVersion=2.11.0 \
      -DgroupId=org.yourorg \
      -DartifactId=my-beam-pipeline \
      -Dversion="0.1" \
      -Dpackage=org.yourorg.pipelines \
      -DinteractiveMode=false

cd my-beam-pipeline

您将看到一个 pom.xml 文件和一个包含您可以开发的入门管道的目录。

创建原型后，它将包括所有基本的 SDK 依赖项，您还可以添加 Dataflow Runner：

<dependency>
   <groupId>org.apache.beam</groupId>
   <artifactId>beam-runners-google-cloud-dataflow-java</artifactId>
   <version>2.11.0</version>
</dependency>

使用 Dataflow 生成自执行 JAR

Generating Self executing JAR using Dataflow

google-cloud-dataflow

apache-beam