Apache spark spark kryo注册班失踪
当通过spark 2.2中的Apache spark spark kryo注册班失踪,apache-spark,apache-spark-sql,kryo,Apache Spark,Apache Spark Sql,Kryo,当通过spark 2.2中的spark.kryo.registrationRequired强制kryo注册时,“true”,我的错误为 Class is not registered: org.apache.spark.sql.catalyst.InternalRow[] 即使使用: .registerKryoClasses( Array(classOf[scala.collection.mutable.WrappedArray.ofRef[_]],
spark.kryo.registrationRequired强制kryo注册时,“true”
,我的错误为
Class is not registered: org.apache.spark.sql.catalyst.InternalRow[]
即使使用:
.registerKryoClasses(
Array(classOf[scala.collection.mutable.WrappedArray.ofRef[_]],
classOf[org.apache.spark.sql.catalyst.InternalRow])
)
显然,InternalRow[]
无法在scala中编译。我在这里遗漏了什么?正在引导我找到正确的答案
classOf[Array[org.apache.spark.sql.catalyst.InternalRow]]
是必需的。但是,在您继续前进的过程中,需要添加更多的spark类。可能会有所帮助,因为有一个很好的列表可以添加