Spark Streaming 检查点到远程 hdfs
Spark Streaming checkpoint to remote hdfs
我正在尝试将我的 spark 流上下文检查点设置到 hdfs 以处理我的应用程序某个点的故障。我在单独的集群上设置了 HDFS，并在单独的独立服务器上设置了 spark 运行。为此，我正在使用：
ssc.checkpoint(directory: String)
这给了我：org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE 当我尝试将目录设置为 "hdfs://hostname:port/pathToFolder"
如何检查远程 hdfs 路径？是否可以向字符串 uri 添加凭据？我试过谷歌搜索，但到目前为止没有帮助。
感谢并感谢任何帮助！
您可以使用以下方式提供凭据：
hdfs://username:password@hostname:port/pathToFolder
我正在尝试将我的 spark 流上下文检查点设置到 hdfs 以处理我的应用程序某个点的故障。我在单独的集群上设置了 HDFS，并在单独的独立服务器上设置了 spark 运行。为此，我正在使用：
ssc.checkpoint(directory: String)
这给了我：org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE 当我尝试将目录设置为 "hdfs://hostname:port/pathToFolder"
如何检查远程 hdfs 路径？是否可以向字符串 uri 添加凭据？我试过谷歌搜索，但到目前为止没有帮助。
感谢并感谢任何帮助！
您可以使用以下方式提供凭据：
hdfs://username:password@hostname:port/pathToFolder