Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark spark kryo注册班失踪_Apache Spark_Apache Spark Sql_Kryo - Fatal编程技术网

Apache spark spark kryo注册班失踪

Apache spark spark kryo注册班失踪,apache-spark,apache-spark-sql,kryo,Apache Spark,Apache Spark Sql,Kryo,当通过spark 2.2中的spark.kryo.registrationRequired强制kryo注册时,“true”,我的错误为 Class is not registered: org.apache.spark.sql.catalyst.InternalRow[] 即使使用: .registerKryoClasses( Array(classOf[scala.collection.mutable.WrappedArray.ofRef[_]],

当通过spark 2.2中的
spark.kryo.registrationRequired强制kryo注册时,“true”
,我的错误为

Class is not registered: org.apache.spark.sql.catalyst.InternalRow[]
即使使用:

.registerKryoClasses(
          Array(classOf[scala.collection.mutable.WrappedArray.ofRef[_]],
                classOf[org.apache.spark.sql.catalyst.InternalRow])
        )
显然,
InternalRow[]
无法在scala中编译。我在这里遗漏了什么?

正在引导我找到正确的答案

classOf[Array[org.apache.spark.sql.catalyst.InternalRow]]
是必需的。但是,在您继续前进的过程中,需要添加更多的spark类。

可能会有所帮助,因为有一个很好的列表可以添加