如何使用 ImageSchema class Java 语言读取图像 apache spark

Question

我在从 HDFS 读取图像文件并使用 ImageSchema 时遇到问题 class https://spark.apache.org/docs/2.3.0/api/java/org/apache/spark/ml/image/ImageSchema.html 不知道如何获取图像数据和集成的OpenCV库。

谢谢大家

Answer 1

您可以尝试使用以下示例使用 ImageSchema.readImages 方法读取图像文件。

import static org.apache.spark.sql.functions.col;
import org.apache.spark.ml.image.ImageSchema;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;
import org.opencv.core.Core;

public class ReadImageExample {
    public static void main(String[] args) {
        SparkSession spark = SparkSession.builder().appName("ReadImageExample").master("local").getOrCreate();
        Dataset<Row> ds = ImageSchema.readImages("C:\temp", spark, false, 0, true, 1.0, 1);
        ds.printSchema();
        ds.select(col("image.width"), col("image.height"), col("image.mode")).show();
    }
}

您将需要以下依赖项。

<dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.3.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>2.3.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-mllib_2.11</artifactId>
            <version>2.3.1</version>
        </dependency>
</dependencies>

如何使用 ImageSchema class Java 语言读取图像 apache spark

How to read image apache spark using ImageSchema class Java language

java

apache-spark

apache-spark-sql

apache-spark-ml