Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/google-app-engine/4.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
使用Java持久化Spark Jobserver名称对象_Java_Apache Spark_Spark Jobserver - Fatal编程技术网

使用Java持久化Spark Jobserver名称对象

使用Java持久化Spark Jobserver名称对象,java,apache-spark,spark-jobserver,Java,Apache Spark,Spark Jobserver,使用Spark Jobserver 0.6.2和Apache Spark 2.0.2,我已经实现了一些功能。但我找不到如何在java中的特定上下文中持久化数据集,以便在不同的作业之间共享。这个功能只对Scala可用吗?因为在网上我只能找到Scala的例子。 我检查了java,在job-server-api_2.11.jar中有一些NamedObject*类,但不知道如何使用它们。实际上,我的作业类是从spark.jobserver.JavaSparkJob扩展而来的 谢谢 不能将作业服务器0.6

使用Spark Jobserver 0.6.2和Apache Spark 2.0.2,我已经实现了一些功能。但我找不到如何在java中的特定上下文中持久化数据集,以便在不同的作业之间共享。这个功能只对Scala可用吗?因为在网上我只能找到Scala的例子。 我检查了java,在job-server-api_2.11.jar中有一些NamedObject*类,但不知道如何使用它们。实际上,我的作业类是从spark.jobserver.JavaSparkJob扩展而来的

谢谢

  • 不能将作业服务器0.6.2与Spark 2.0.2一起使用。请参阅README.md()中的兼容性矩阵

  • 您可能必须使用spark-2.0-preview分支

  • 下面是一个讨论java中新命名对象API的线程。其中一个线程也有使用新API作为附件的最新示例


  • 谢谢,这解决了我的疑问。我正在将Spark 2.0.2与Job Server 0.7.0一起使用,到目前为止,它工作正常。我应该知道些什么吗?