查询：Spark 中的直线接口 SQL

Question

Beeline 脚本是 Spark/bin 中连接到 HiveServer2 的一种方式。

我运行简单查询如下。

在输出中我可以看到 Map-Reduce 正在启动。

我只是想了解 Spark 中直线功能的优势是什么，因为它遵循传统的 map-reduce 执行框架？

我们可以在 beeline 中使用 Spark RDD 功能吗？

提前致谢。

Answer 1

Beeline 不是 Spark 的一部分。

它只是一个 HiveServer2 客户端。

您可以启动 Spark shell 并在 shell 中执行查询，但这与 Beeline 无关。因为 Beeline 与 Spark 无关。

Answer 2

这是一个 way.If 你不想使用 Mapreduce 你可以使用 TEZ 因为 engine.Which 将运行在内存中比 MR 更快。

SET hive.execution.engine=tez;

但是你不能运行 spark ifrom beeline.This 是一个连接到 hiveserver2 的独立应用程序。

Answer 3

补充@MondayMonkey 所说的内容。 Beeline 不是 Spark 引擎的一部分。它只是一个连接到 Spark 的 Thriftserver（JDBC 服务器）的 JDBC 客户端。 Beeline 提供了一个 SQL 接口供您与 Spark 交互 SQL

Query : Beeline interface in Spark SQL