Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 有没有办法重新分发持久化数据集复制？_Apache Spark_Apache Spark Sql - Fatal编程技术网
Fatal编程技术网
  • apache-spark/
  • Apache spark 有没有办法重新分发持久化数据集复制？

Apache spark 有没有办法重新分发持久化数据集复制？

apache-spark

Apache spark 有没有办法重新分发持久化数据集复制？,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,我有一个持久化的数据集内存和磁盘，我使用复制因子来避免特定节点死亡时出现问题。 当节点死亡时，我的群集管理器会自动生成一个新节点，但持久化的数据集不会复制到其中。 我想知道是否有一种方法可以告诉数据集重新评估块复制，而不必取消持久化并再次持久化 spark 2.3在纱线上运行

我有一个持久化的数据集内存和磁盘，我使用复制因子来避免特定节点死亡时出现问题。 当节点死亡时，我的群集管理器会自动生成一个新节点，但持久化的数据集不会复制到其中。 我想知道是否有一种方法可以告诉数据集重新评估块复制，而不必取消持久化并再次持久化

spark 2.3在纱线上运行