Spark应用程序(用Java编写)与C+之间的绑定+;exe 我们试图从SCAP APP(C++编写java)调用C++ exe。 我尝试使用.pIE()将参数作为“字符串”传递给C++,它工作得很好。 但是我们正在处理RDD中更复杂的元素:martrix+元数据。(RDD的每个元素都是一个矩阵(int)+metedata(String,int,double,…)。 将这些元素传递给C++程序(执行科学计算)的最佳方法是什么?我读过一些关于节约、AVRO、JNI的一些话题。有人已经使用了这些工具来完成这类任务?

Spark应用程序(用Java编写)与C+之间的绑定+;exe 我们试图从SCAP APP(C++编写java)调用C++ exe。 我尝试使用.pIE()将参数作为“字符串”传递给C++,它工作得很好。 但是我们正在处理RDD中更复杂的元素:martrix+元数据。(RDD的每个元素都是一个矩阵(int)+metedata(String,int,double,…)。 将这些元素传递给C++程序(执行科学计算)的最佳方法是什么?我读过一些关于节约、AVRO、JNI的一些话题。有人已经使用了这些工具来完成这类任务?,java,c++,apache-spark,java-native-interface,thrift,Java,C++,Apache Spark,Java Native Interface,Thrift,我已经尝试通过Databricks GitHub的“spark Avro”包将数据保存在Avro文件中,但它使用SparkSQL(我使用本机RDD:JavaRDD和JavaPairRDD) 我可以在我的C++程序中添加一些Stuf,比如一个接口来捕获一个流(或类似的东西)并反序列化它。< /P> 总结,什么是最好的工具/方法来序列化RDDS的复杂对象,将它们从SCALL发送到C++程序,并将结果发送到SCAP/< 谢谢你的帮助

我已经尝试通过Databricks GitHub的“spark Avro”包将数据保存在Avro文件中,但它使用SparkSQL(我使用本机RDD:JavaRDD和JavaPairRDD)

我可以在我的C++程序中添加一些Stuf,比如一个接口来捕获一个流(或类似的东西)并反序列化它。< /P>

总结,什么是最好的工具/方法来序列化RDDS的复杂对象,将它们从SCALL发送到C++程序,并将结果发送到SCAP/< 谢谢你的帮助