使用 hex.genmodel API 使用 H2O MOJO 模型进行预测

Question

我目前正在尝试弄清楚如何加载保存的 H2O MOJO 模型并在 Spark DataFrame 上使用它而不需要 Sparkling Water。我尝试使用的方法是在 Spark 启动时加载一个 h2o-genmodel.jar 文件，然后使用 PySpark 的 Py4J 接口来访问它。我的具体问题是如何访问 py4j.java_gateway 对象生成的值。

下面是一个最小的例子：

火车模型

import h2o
from h2o.estimators.random_forest import H2ORandomForestEstimator
import pandas as pd
import numpy as np

h2o.init()

features = pd.DataFrame(np.random.randn(6,3),columns=list('ABC'))
target = pd.DataFrame(pd.Series(["cat","dog","cat","dog","cat","dog"]), columns=["target"])
df = pd.concat([features, target], axis=1)
df_h2o = h2o.H2OFrame(df)

rf = H2ORandomForestEstimator()
rf.train(["A","B","C"],"target",training_frame=df_h2o, validation_frame=df_h2o)

保存 MOJO

model_path = rf.download_mojo(path="./mojo/", get_genmodel_jar=True)
print(model_path)

加载 MOJO

from pyspark.sql import SparkSession

spark = SparkSession.builder.config("spark.jars", "/home/ec2-user/Notebooks/mojo/h2o-genmodel.jar").getOrCreate()

MojoModel = spark._jvm.hex.genmodel.MojoModel
EasyPredictModelWrapper = spark._jvm.hex.genmodel.easy.EasyPredictModelWrapper
RowData = spark._jvm.hex.genmodel.easy.RowData

mojo = MojoModel.load(model_path)
easy_model = EasyPredictModelWrapper(mojo)

对单行数据进行预测

r = RowData()
r.put("A", -0.631123)
r.put("B", 0.711463)
r.put("C", -1.332257)

score = easy_model.predictBinomial(r).classProbabilities

所以，到目前为止我已经能够得到。我遇到麻烦的地方是我发现很难检查 score 返回给我的内容。 print(score) 产生以下结果：<py4j.java_gateway.JavaMember at 0x7fb2e09b4e80>。大概必须有一种方法可以从该对象实际生成值，但我该怎么做？

Answer 1

您可以找到返回的对象here。 classProbabilities 是一个 Java array 和 Java 数组没有 toString 方法，这就是为什么你的 print 语句返回一些非人类可读的东西。

访问此值的一种方法是使用 py4j

例如这应该有效：

for i in easy_model.predictBinomial(r).classProbabilities:
...     print(i)

或者您可以将其转换为列表。

使用 hex.genmodel API 使用 H2O MOJO 模型进行预测

Predict with H2O MOJO Model using hex.genmodel API

python

py4j

h2o

pyspark

火车模型

保存 MOJO

加载 MOJO

对单行数据进行预测