Apache spark 读取文件时触发的分区/任务数_Apache Spark_Apache Spark Sql_Task_Partition

Apache spark 读取文件时触发的分区/任务数

apache-spark

Apache spark 读取文件时触发的分区/任务数,apache-spark,apache-spark-sql,task,partition,Apache Spark,Apache Spark Sql,Task,Partition,有人能告诉我这个问题的答案吗？为什么 Q.在spark shell上使用以下命令初始创建多少个分区- sc.textfilehdfs://user/cloudera/csvfiles 目录/user/cloudera/csvfiles中有100个文件，有10个节点运行Spark。 A.1. B10 C20 D100Spark为每个HDFS块创建分区。若每个文件的大小小于集群的块大小，那个么它应该有100个分区您可以通过以下方式进行验证： sc.textfile("hdfs://user/clo

有人能告诉我这个问题的答案吗？为什么

Q.在spark shell上使用以下命令初始创建多少个分区- sc.textfilehdfs://user/cloudera/csvfiles

目录/user/cloudera/csvfiles中有100个文件，有10个节点运行Spark。 A.1. B10 C20

D100

Spark为每个HDFS块创建分区。若每个文件的大小小于集群的块大小，那个么它应该有100个分区

您可以通过以下方式进行验证：

sc.textfile("hdfs://user/cloudera/csvfiles").getNumPartitions

你能解释一下吗！