Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/scala/18.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala 如何在spark中将recoder更新为拼花地板文件_Scala_Apache Spark_Parquet - Fatal编程技术网
Fatal编程技术网
  • scala/
  • Scala 如何在spark中将recoder更新为拼花地板文件

Scala 如何在spark中将recoder更新为拼花地板文件

scala apache-spark

Scala 如何在spark中将recoder更新为拼花地板文件,scala,apache-spark,parquet,Scala,Apache Spark,Parquet,当我定期将数据更新到拼花地板文件时，花费的时间将越来越慢。 如何修复它 rdd.save（“hdfs://hdfshost:9000/data/data.parquet，“拼花地板”，保存模式。追加） 第一次写入时，记录器为100w+，文件大小为50MB。 写入后，记录器为1w+。但是，文件大小增加到100MB＋ 救命啊

当我定期将数据更新到拼花地板文件时，花费的时间将越来越慢。 如何修复它

rdd.save（“hdfs://hdfshost:9000/data/data.parquet，“拼花地板”，保存模式。追加）

第一次写入时，记录器为100w+，文件大小为50MB。 写入后，记录器为1w+。但是，文件大小增加到100MB＋

救命啊