由于 Kerberos，spark-submit 无法连接到 Metastore：由 GSSException 引起：未提供有效凭据。但在本地客户端模式下工作

Question

看来，在 docker pyspark shell 中，本地客户端模式正在运行并且能够连接到配置单元。但是，使用所有依赖项发出 spark-submit 失败并显示以下错误。

20/08/24 14:03:01 INFO storage.BlockManagerMasterEndpoint: Registering block manager test.server.com:41697 with 6.2 GB RAM, BlockManagerId(3, test.server.com, 41697, None)
20/08/24 14:03:02 INFO hive.HiveUtils: Initializing HiveMetastoreConnection version 1.2.1 using Spark classes.
20/08/24 14:03:02 INFO hive.metastore: Trying to connect to metastore with URI thrift://metastore.server.com:9083
20/08/24 14:03:02 ERROR transport.TSaslTransport: SASL negotiation failure
javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]
        at com.sun.security.sasl.gsskerb.GssKrb5Client.evaluateChallenge(GssKrb5Client.java:211)
        at org.apache.thrift.transport.TSaslClientTransport.handleSaslStartMessage(TSaslClientTransport.java:94)
        at org.apache.thrift.transport.TSaslTransport.open(TSaslTransport.java:271)

运行 pyspark 上的一个简单的 pi 示例在没有 kerberos 问题的情况下工作正常，但在尝试访问配置单元时出现 kerberos 错误。

Spark 提交命令：

spark-submit --master yarn --deploy-mode cluster --files=/etc/hive/conf/hive-site.xml,/etc/hive/conf/yarn-site.xml,/etc/hive/conf/hdfs-site.xml,/etc/hive/conf/core-site.xml,/etc/hive/conf/mapred-site.xml,/etc/hive/conf/ssl-client.xml  --name fetch_hive_test --executor-memory 12g --num-executors 20 test_hive_minimal.py

test_hive_minimal.py 是一个简单的 pyspark 脚本，用于显示测试数据库中的表：

from pyspark.sql import SparkSession
#declaration
appName = "test_hive_minimal"
master = "yarn"
# Create the Spark session
sc = SparkSession.builder \
    .appName(appName) \
    .master(master) \
    .enableHiveSupport() \
    .config("spark.hadoop.hive.enforce.bucketing", "True") \
    .config("spark.hadoop.hive.support.quoted.identifiers", "none") \
    .config("hive.exec.dynamic.partition", "True") \
    .config("hive.exec.dynamic.partition.mode", "nonstrict") \
    .getOrCreate()
# Define the function to load data from Teradata
#custom freeform query
sql = "show tables in user_tables"
df_new = sc.sql(sql)
df_new.show()
sc.stop()

谁能告诉我如何解决这个问题？ kerberos 票证不是由 yarn 自动管理的吗？所有其他 hadoop 资源都可以访问。

更新： 在 docker 容器上共享 vol 装载并传递 keytab/principal 和 hive-site.xml 以访问 Metastore 后问题已得到解决。

spark-submit --master yarn \
--deploy-mode cluster \
--jars /srv/python/ext_jars/terajdbc4.jar \
--files=/etc/hive/conf/hive-site.xml \
--keytab /home/alias/.kt/alias.keytab \ #this is mounted and kept in docker local path 
--principal alias@realm.com.org \
--name td_to_hive_test \
--driver-cores 2 \
--driver-memory 2G \
--num-executors 44 \
--executor-cores 5 \
--executor-memory 12g \
td_to_hive_test.py

Answer 1

我认为您的 driver 有门票，但您的遗嘱执行人没有。将以下参数添加到您的 spark 提交中：

--principal : 你可以这样得到principal : klist -k
--keytab : keytab 的路径

更多信息：https://spark.apache.org/docs/latest/running-on-yarn.html#yarn-specific-kerberos-configuration

Answer 2

您可以尝试在命令行下属性同时运行在集群上创建作业。

-Djavax.security.auth.useSubjectCredsOnly=false

您可以将以上属性添加到Spark提交命令

由于 Kerberos，spark-submit 无法连接到 Metastore：由 GSSException 引起：未提供有效凭据。但在本地客户端模式下工作

spark-submit failing to connect to metastore due to Kerberos : Caused by GSSException: No valid credentials provided . but works in local-client mode

hadoop

cloudera

apache-spark

pyspark