Apache spark Spark中RDD数量的最大限制_Apache Spark_Rdd

Apache spark Spark中RDD数量的最大限制

apache-spark

Apache spark Spark中RDD数量的最大限制,apache-spark,rdd,Apache Spark,Rdd,我是Spark的新手，目前正在学习相关概念。我的一个基本问题是Spark中RDD的数量限制是多少？据我所知，Spark中RDD的数量没有限制唯一的限制是Spark可以扩展/使用内存和磁盘交换空间我一直在生产中运行spark超过40 tb的数据，但尚未达到任何限制。据我所知，spark中的RDD数量没有限制唯一的限制是Spark可以扩展/使用内存和磁盘交换空间我已经在生产中运行了40 tb的spark数据，但尚未达到任何限制。内存和磁盘空间可以限制并行处理的RDD数量，但除此之外，您可以（

我是Spark的新手，目前正在学习相关概念。我的一个基本问题是Spark中RDD的数量限制是多少？

据我所知，Spark中RDD的数量没有限制

唯一的限制是Spark可以扩展/使用内存和磁盘交换空间

我一直在生产中运行spark超过40 tb的数据，但尚未达到任何限制。

据我所知，spark中的RDD数量没有限制

唯一的限制是Spark可以扩展/使用内存和磁盘交换空间

我已经在生产中运行了40 tb的spark数据，但尚未达到任何限制。

内存和磁盘空间可以限制并行处理的RDD数量，但除此之外，您可以（AFAIK）拥有任意数量的RDD：）内存和磁盘空间可以限制并行处理的RDD数量，但除此之外，您可以（AFAIK）拥有您想要的任意数量的RDD:）