Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/scala/16.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala 火花Kryo登记器_Scala_Apache Spark_Kryo - Fatal编程技术网
Fatal编程技术网
  • scala/
  • Scala 火花Kryo登记器

Scala 火花Kryo登记器

scala apache-spark

Scala 火花Kryo登记器,scala,apache-spark,kryo,Scala,Apache Spark,Kryo,我在spark 2.1中使用kryo作为序列化程序，我已按要求设置了注册，但我面临一个问题，无法注册此类： org.apache.spark.sql.execution.datasources.PartitioningAwareFileIndex$SerializableFileStatus$SerializableBlockLocation[] 我尝试过使用[Array[Class.forName（“org.apache.spark.sql.execution.datasources.Part

我在spark 2.1中使用kryo作为序列化程序，我已按要求设置了注册，但我面临一个问题，无法注册此类：

org.apache.spark.sql.execution.datasources.PartitioningAwareFileIndex$SerializableFileStatus$SerializableBlockLocation[]

我尝试过使用[Array[Class.forName（“org.apache.spark.sql.execution.datasources.PartitioningAwareFileIndex$SerializableFileStatus$SerializableBlockLocation”）.type]的类和其他组合，但我没有成功注册这个类

我也尝试过创建一个类似register的java类，并将该类注册为 
org.apache.spark.sql.execution.datasources.PartitioningAwareFileIndex$SerializableFileStatus$SerializableBlockLocation[]类


感谢您提供任何线索。
我已经解决了我的问题，我使用了：

register（ClassTag（Class.forName（“org.apache.spark.sql.execution.datasources.PartitioningAwareFileIndex$SerializableBlockLocation”））.wrap.runtimeClass）


它允许在运行时注册封装在数组中的类名。
我已经解决了我的问题，我使用了：

register（ClassTag（Class.forName（“org.apache.spark.sql.execution.datasources.PartitioningAwareFileIndex$SerializableBlockLocation”））.wrap.runtimeClass）

它允许在运行时注册封装在数组中的类名