Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 如何从SparkR中的JavaRef类型JavaRDD创建PipelineRDD?_Apache Spark_Sparkr - Fatal编程技术网

Apache spark 如何从SparkR中的JavaRef类型JavaRDD创建PipelineRDD?

Apache spark 如何从SparkR中的JavaRef类型JavaRDD创建PipelineRDD?,apache-spark,sparkr,Apache Spark,Sparkr,我在SparkR中调用jar包中的一些代码,该包返回JavaRDD的JavaRef类型。使用createDataFrame(sqlContext,myRDD)转换为数据帧时,我收到一个错误 Error in createDataFrame(sqlContext, myRDD) : unexpected type: jobj 在后端引用RDD并构造SparkR数据帧并使用它提供的所有可爱的R函数的正确方法是什么?在创建数据帧之前,您应该能够将JavaRDD传递给RDD()构造函数(比如creat

我在SparkR中调用jar包中的一些代码,该包返回JavaRDD的JavaRef类型。使用
createDataFrame(sqlContext,myRDD)
转换为数据帧时,我收到一个错误

Error in createDataFrame(sqlContext, myRDD) : unexpected type: jobj

在后端引用RDD并构造SparkR数据帧并使用它提供的所有可爱的R函数的正确方法是什么?

在创建数据帧之前,您应该能够将
JavaRDD
传递给
RDD()
构造函数(比如
createDataFrame(sqlContext,RDD(myRDD))
)。你能试试看它是否有效吗?是的,它确实包装了备份对象,但是在RDD上调用函数时出现了各种错误。我把它换成了一个支持数据帧,并用数据帧(…)将它包装起来。这消除了我所犯的模糊错误