Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/angularjs/23.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark &引用；“尚未开始任何任务”；对于包含重新分区（）的Spark作业_Apache Spark_Pyspark - Fatal编程技术网
Fatal编程技术网
  • apache-spark/
  • Apache spark &引用；“尚未开始任何任务”；对于包含重新分区（）的Spark作业

Apache spark &引用；“尚未开始任何任务”；对于包含重新分区（）的Spark作业

apache-spark pyspark

Apache spark &引用；“尚未开始任何任务”；对于包含重新分区（）的Spark作业,apache-spark,pyspark,Apache Spark,Pyspark,在对一份pyspark工作“还没有开始任何任务”挠头一段时间后，问题被隔离为： 作品： ssc = HiveContext(sc) sqlRdd = ssc.sql(someSql) sqlRdd.collect() 添加repartition（）并挂起“尚未启动任何任务”： 这是在与CDH5捆绑的1.2.0上 ssc = HiveContext(sc) sqlRdd = ssc.sql(someSql).repartition(2) sqlRdd.collect()

在对一份pyspark工作“还没有开始任何任务”挠头一段时间后，问题被隔离为：

作品：

ssc = HiveContext(sc)
sqlRdd = ssc.sql(someSql)
sqlRdd.collect()
添加repartition（）并挂起“尚未启动任何任务”：

这是在与CDH5捆绑的1.2.0上

ssc = HiveContext(sc)
sqlRdd = ssc.sql(someSql).repartition(2)
sqlRdd.collect()