Spark SQL 作为服务
Spark SQL as Service
目前正在开发一个应用程序，该应用程序使用 spark mllib 从纯文本文件（教科书）中提取数据并计算 tf-idf 值并存储在 hive table 中。我需要像休息服务一样用关键字搜索语料库来找到书名。是否有任何 REST 服务可用于使用 spark sql 作为对 运行 查询的服务？或者是否可以使用 Livy 来完成上述要求？提前致谢。
可以为此使用 livy，但如果您只想对 hive 表执行 sql 查询，使用 spark thrift 服务器会简单得多。
spark thrift 服务器是一个 jdbc 服务器，它允许您连接任何 jdbc 客户端，以及 运行 sql 查询。
您可以在此处找到更多信息：
https://spark.apache.org/docs/2.2.0/sql-programming-guide.html#running-the-thrift-jdbcodbc-server
https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-thrift-server.html
目前正在开发一个应用程序，该应用程序使用 spark mllib 从纯文本文件（教科书）中提取数据并计算 tf-idf 值并存储在 hive table 中。我需要像休息服务一样用关键字搜索语料库来找到书名。是否有任何 REST 服务可用于使用 spark sql 作为对 运行 查询的服务？或者是否可以使用 Livy 来完成上述要求？提前致谢。
可以为此使用 livy，但如果您只想对 hive 表执行 sql 查询，使用 spark thrift 服务器会简单得多。
spark thrift 服务器是一个 jdbc 服务器，它允许您连接任何 jdbc 客户端，以及 运行 sql 查询。
您可以在此处找到更多信息：
https://spark.apache.org/docs/2.2.0/sql-programming-guide.html#running-the-thrift-jdbcodbc-server
https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-thrift-server.html