Pyspark命令移到新行

Pyspark命令移到新行,pyspark,Pyspark,为什么在pyspark中执行的下面的查询会移动到下一行,而不是执行当前命令 cloudera VM 5.X中的spark 1.6 创建了一个名为fprdd的rdd(该命令执行得很好) pair1rdd=fprdd.map(λx:(x[2],(x[0],x[1])) 甚至尝试通过Shift+Enter选择命令(无效) 按enter键进入新行 有人能帮我找到可能的解决办法吗。为了得到这个问题的答案,你应该去看看spark里有什么 Spark中的所有转换都是惰性的,因为它们不进行计算 他们的结果马上就

为什么在pyspark中执行的下面的查询会移动到下一行,而不是执行当前命令

cloudera VM 5.X中的spark 1.6

创建了一个名为fprdd的rdd(该命令执行得很好)

pair1rdd=fprdd.map(λx:(x[2],(x[0],x[1]))

甚至尝试通过Shift+Enter选择命令(无效)

按enter键进入新行


有人能帮我找到可能的解决办法吗。

为了得到这个问题的答案,你应该去看看spark里有什么

Spark中的所有转换都是惰性的,因为它们不进行计算 他们的结果马上就出来了。相反,他们只记得 应用于某些基本数据集(例如文件)的转换 仅当操作需要生成结果时,才会计算转换 返回到驱动程序。此设计使Spark能够运行 更有效。例如,我们可以实现创建数据集 通过映射将用于reduce并仅返回 减少到驱动程序,而不是更大的映射数据集