Python Spark RDD:在range()对象上使用collect()

Python Spark RDD:在range()对象上使用collect(),python,apache-spark,range,collect,Python,Apache Spark,Range,Collect,我想把数字0到99转换成RDD rd1 = range(1, 100) test = sc.parallelize(rd1) 当我使用collect()函数时 print(test.collect()) …我收到以下错误消息: PicklingError: Could not pickle object as excessively deep recursion required. 根据纪录片,这应该是有效的。你能告诉我我做错了什么吗 非常感谢。如果其他人也有同样的问题。我可以通过只选择要

我想把数字0到99转换成RDD

rd1 = range(1, 100)
test = sc.parallelize(rd1)
当我使用collect()函数时

print(test.collect())
…我收到以下错误消息:

PicklingError: Could not pickle object as excessively deep recursion required.
根据纪录片,这应该是有效的。你能告诉我我做错了什么吗


非常感谢。

如果其他人也有同样的问题。我可以通过只选择要执行的行来解决它

我认为其他并行运行的脚本导致了错误