Apache spark saveAsTextFile(";path";),它返回时没有错误,但找不到输出文件
我执行以下声明:Apache spark saveAsTextFile(";path";),它返回时没有错误,但找不到输出文件,apache-spark,spark-dataframe,apache-spark-2.0,Apache Spark,Spark Dataframe,Apache Spark 2.0,我执行以下声明: item_final_view_cassandra_df. map({case Row(item_id: Long, account_id: Long, ssin_id: String, gu_id: String, modified_id: Long ) => (item_id, account_id, ssin_id, gu_id, modified_id)})
item_final_view_cassandra_df.
map({case Row(item_id: Long, account_id: Long, ssin_id: String,
gu_id: String, modified_id: Long ) =>
(item_id, account_id, ssin_id, gu_id, modified_id)})
.rdd.saveAsTextFile("/home/cassandra_data/cassnadra_" +
epoch.toString());
它不会返回错误,但也不会创建输出文件。我所能看到的就是在这个路径下创建的成功。你是否用
rdd.count
value检查过rdd是否有任何结果值!!!是的,它有值。你能试着使用take()
而不是saveAsTextFile()
来查看你是否得到了可序列化的对象吗?@avihoomaka:I试过take(),我得到了以下输出:res394:Array[(Long,Long,String,String,Long)]=Array((108796620110119015,UVD1088032001P,7bba-9210-49f9-b7ee-011c0e0db,-140))epoch.toString()
似乎是个问题。你有没有试过没有这个,只是普通的文本文件名?