Apache spark 在HDFS自定义位置保存数据流

Spark DStream具有方法saveAsTextFiles（前缀，[后缀]），可用于在HDFS上保存数据，但此函数不接受任何路径参数

myDStream.saveAsTextFiles("prefix_","_suffix")

默认情况下，它将数据保存到HDFS上当前登录的用户目录中，即，如果您使用root用户运行应用程序，则数据存储在

/user/root/prefix_TIMESTAMP_suffx

如何更改输出目录

---

谢谢

给它一个指向所需HDFS目录的路径作为前缀参数：

myDStream.saveAsTextFiles("hdfs://my/custom/path/prefix_","_suffix")