将 DStream 保存在 HDFS 自定义位置

Question

Spark DStream 有方法 saveAsTextFiles(prefix, [suffix]) 可以用来在 HDFS 上保存数据，但是这个函数不接受任何路径参数。

myDStream.saveAsTextFiles("prefix_","_suffix")

默认情况下，它会将数据保存到 HDFS 上当前登录的用户目录中，即如果您是具有 root 用户的运行应用程序，那么数据将存储在

/user/root/prefix_TIMESTAMP_suffx

如何更改输出目录？

谢谢

Answer 1

给它一个到所需 HDFS 目录的路径作为前缀参数：

myDStream.saveAsTextFiles("hdfs://my/custom/path/prefix_","_suffix")

Saving DStream on HDFS custom location