如何将 SparkML 模型作为实时 Web 服务进行操作?
How can I operationalize a SparkML model as a real-time webservice?
在 Spark 集群上训练 SparkML 模型后,我如何获取训练后的模型并使其可用于通过 restful API 进行评分?
问题是它需要一个 SparkContext 才能加载,但是有没有办法 'fake it' 因为它似乎并不是真正必要的,或者创建 SparkContext 所需的最低要求是多少?
在某些情况下 - 是的,它可以。
Spark 中的许多模型可以导出为 JPMML,ML 模型的标准化格式。然后你可以将它与其他 Java 库一起使用,比如 https://github.com/jpmml/jpmml-sparkml
如何导出您可以在这个问题中阅读 - 。
您也可以使用 Spark Streaming 来计算值,但是在连续处理模式可用之前它会有更高的延迟
对于非常耗时的计算,比如推荐算法,我觉得像Cassandra这样预先计算好值存入数据库是很正常的
在 Spark 集群上训练 SparkML 模型后,我如何获取训练后的模型并使其可用于通过 restful API 进行评分?
问题是它需要一个 SparkContext 才能加载,但是有没有办法 'fake it' 因为它似乎并不是真正必要的,或者创建 SparkContext 所需的最低要求是多少?
在某些情况下 - 是的,它可以。
Spark 中的许多模型可以导出为 JPMML,ML 模型的标准化格式。然后你可以将它与其他 Java 库一起使用,比如 https://github.com/jpmml/jpmml-sparkml
如何导出您可以在这个问题中阅读 -
您也可以使用 Spark Streaming 来计算值,但是在连续处理模式可用之前它会有更高的延迟
对于非常耗时的计算,比如推荐算法,我觉得像Cassandra这样预先计算好值存入数据库是很正常的