无法为数据源加载 class：Spark ML pyspark/scala 中的 Libsvm

Question

当我尝试使用 "sqlContext.read.format("libsvm").load" 在 pyspark/scala 中导入 libsvm 文件时，出现以下错误 -

"Failed to load class for data source: Libsvm."

与此同时，如果我使用 "MLUtils.loadLibSVMFile"，它工作得很好。我需要同时使用 Spark ML（以获得 class 概率）和 MLlib 进行评估。已附上错误截图。

这是一个 MapR 集群。星火版本 1.5.2 Error

Answer 1

这可能是版本不匹配，您项目中的 libsvm 版本可能没有特定的 API，您能否验证加载的 libsvm 版本，然后确定是否 api 有空吗？

Answer 2

libsvm 源格式自 Spark 1.6 版起可用。