Apache spark PySpark将小于2148的时间戳转换为null

以下代码生成正确的输出：

import datetime, pytz
sc.parallelize([[datetime.datetime.utcfromtimestamp(2148)]]).toDF().take(1)[0][0]

output: datetime.datetime(1970, 1, 1, 0, 35, 48)

将时间戳减少到2148以下将导致空/无：

sc.parallelize([[datetime.datetime.utcfromtimestamp(2147)]]).toDF().take(1)[0][0]

output: None

---

这是怎么回事？

这是一个pyspark错误，将在2.1.1和2.2.0版本中解决。详情请参阅