Python 如何修复pyspark中的takeUptNumleft StopIteration？

python 3.7.0和spark 2.3.0有些奇怪

使用上述版本，我们得到以下异常：

19/08/10 21:29:10 WARN TaskSetManager: Lost task 0.0 in stage 6.0 (TID 13, 172.16.138.199, executor 1): org.apache.spark.api.python.PythonException: Traceback (most recent call last):
  File "/cvmfs/soft.computecanada.ca/easybuild/software/2017/Core/spark/2.3.0/python/lib/pyspark.zip/pyspark/rdd.py", line 1354, in takeUpToNumLeft
StopIteration

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "/cvmfs/soft.computecanada.ca/easybuild/software/2017/Core/spark/2.3.0/python/lib/pyspark.zip/pyspark/worker.py", line 229, in main
    process()
  File "/cvmfs/soft.computecanada.ca/easybuild/software/2017/Core/spark/2.3.0/python/lib/pyspark.zip/pyspark/worker.py", line 224, in process
    serializer.dump_stream(func(split_index, iterator), outfile)
  File "/cvmfs/soft.computecanada.ca/easybuild/software/2017/Core/spark/2.3.0/python/lib/pyspark.zip/pyspark/serializers.py", line 372, in dump_stream
    vs = list(itertools.islice(iterator, batch))
RuntimeError: generator raised StopIteration

---

为什么会出现上述异常？如何修复它？

你能提供你的spark代码段吗？@DennisLi，代码非常大，我想在代码卡住的地方添加代码段。顺便说一句，同样的函数应用于data1很好，在同一个应用程序中，当用data2调用它时，会引发上面的执行选项，只需添加导致问题的代码段。你能提供你的spark代码段吗？@DennisLi，代码非常大，我想添加代码将被卡住的代码段。顺便说一句，相同的函数应用于data1很好，并且在相同的应用程序中，当用data2调用它时，会引发上述执行选项，只需添加导致问题的代码段。