Apache spark Spark mapPartitions正确使用数据帧

我正在努力正确使用

mapPartitions

我已经成功地使用

map

运行了我的代码，但是，因为我不希望为我要切换到

map分区的每一行加载资源

下面是一些简单的示例代码：

import spark.implicits._
val dataDF = spark.read.format("json").load("basefile")
val newDF = dataDF.mapPartitions( iterator  => {
  iterator.map(p => Seq(1,"1")))
}).toDF("id", "newContent")
newDF.write.json("newfile")

这导致了异常

Exception in thread "main" java.lang.ClassNotFoundException: scala.Any

我猜这和打字有关。问题可能是什么？
问题是
Seq（1，“1”）
的类型是
Seq[Any]
无法从
mapPartitions
返回的，请尝试
Seq（1,2）
intsead如果这样做有效问题是
Seq（1，“1”）
的类型是
Seq[Any]
如果无法从
mapPartitions
返回，请尝试
Seq（1,2）
intsead（如果有效）