Hive 是否自动自带 Apache Spark

Does Hive automatically come with Apache Spark

您好,我已经安装了 Apache Spark 1.6.0,我正在尝试使用 DataFrame.saveAsTable() 将数据持久保存到 Hive。但是,当它尝试创建 /user/hive 目录时出现错误。我的理解是,当我安装 Apache Spark 的二进制版本时,我会自动获得 Hive。我也找不到任何 Hive 配置文件 我的 $SPARK_HOME 目录。要解决这个问题,我需要单独安装 Hive 吗?

这是我遇到的错误:

java.io.IOException: Mkdirs failed to create  file:/user/hive/warehouse/wikidata_perm/_temporary/0/_temporary/attempt_201601250849_0002_m_000000_0 
(exists=false,    cwd=file:/home/myuser/devel/sandbox/Learning/Spark/LearningSpark/AmpCampHandsOn)

如果要支持spark,必须指定用Hive and JDBC support构建spark。来自链接文档:

mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -Phive -Phive-thriftserver -DskipTests clean package

旁注:在我看来,您的错误似乎不是由于缺乏配置单元支持造成的。看起来您只是缺少对正确目录的正确 configuration/access 权限。请参阅 this 寻求帮助。