Spark 看不到外部配置单元 table
Spark cannot see hive external table
我是 Spark 和 AWS 的新手。
我在 AWS 中有一个 DynamoDB table。我使用 Hive 在 EMR 上创建了一个 Spark 集群。
使用配置单元 shell 我创建了外部 table “RawData” 以连接到 DynamoDB。
现在，当我使用 DynamoDB 依赖项 jar 启动 spark-shell 时 --jars /usr/share/aws/emr/ddb/lib/emr-ddb-hive.jar,/usr/share/aws/emr/ddb/lib/emr-ddb-hadoop.jar
我可以使用 HiveContext 查询 table “RawData”
并得到结果。
但是当我使用 spark-submit 提交我的 Spark 程序时，我在终端中看到了一些 spark 异常，并且在我发现的日志中：“org.apache.spark.sql.AnalysisException: no such table RawData ".
这是我创建集群的方式：aws emr create-cluster --name MyCluster --release-label emr-4.0.0 --applications Name=Spark Name=Hive ...
请指教我做错了什么。
列夫
我发现提交命令中缺少了什么。
我不得不添加 --files /etc/hive/conf/hive-site.xml 作为 spark-submit 的参数之一。
我是 Spark 和 AWS 的新手。
我在 AWS 中有一个 DynamoDB table。我使用 Hive 在 EMR 上创建了一个 Spark 集群。 使用配置单元 shell 我创建了外部 table “RawData” 以连接到 DynamoDB。
现在，当我使用 DynamoDB 依赖项 jar 启动 spark-shell 时 --jars /usr/share/aws/emr/ddb/lib/emr-ddb-hive.jar,/usr/share/aws/emr/ddb/lib/emr-ddb-hadoop.jar
我可以使用 HiveContext 查询 table “RawData”
并得到结果。
但是当我使用 spark-submit 提交我的 Spark 程序时，我在终端中看到了一些 spark 异常，并且在我发现的日志中：“org.apache.spark.sql.AnalysisException: no such table RawData ".
这是我创建集群的方式：aws emr create-cluster --name MyCluster --release-label emr-4.0.0 --applications Name=Spark Name=Hive ...
请指教我做错了什么。 列夫
我发现提交命令中缺少了什么。
我不得不添加 --files /etc/hive/conf/hive-site.xml 作为 spark-submit 的参数之一。