Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 二进制对象数据-持久化到Hadoop中_Java_Hadoop_Apache Spark - Fatal编程技术网

Java 二进制对象数据-持久化到Hadoop中

Java 二进制对象数据-持久化到Hadoop中,java,hadoop,apache-spark,Java,Hadoop,Apache Spark,我们在Java Spark代码中有一个二进制对象。我们希望将其保存为Hadoop目录。我们怎么做呢。在纯java中,我们执行以下操作 File oldFile = new File("C:\\Documents\\obj.binary"); oldFile.delete(); File newFile = new File("C:\\Documents\\obj.binary"); FileOutputStream fout = new FileOutputStream(newFile); Ob

我们在Java Spark代码中有一个二进制对象。我们希望将其保存为Hadoop目录。我们怎么做呢。在纯java中,我们执行以下操作

File oldFile = new File("C:\\Documents\\obj.binary");
oldFile.delete();
File newFile = new File("C:\\Documents\\obj.binary");
FileOutputStream fout = new FileOutputStream(newFile);
ObjectOutputStream Objso = new ObjectOutputStream(fout);
Objso.writeObject(model);
Objso.flush();
Objso.close();
我如何在Hadoop(Spark Java)中实现这一点

我们有hadoop 2.6.2,Spark 1.6.1

谢谢


巴拉

@pashaz。谢谢你的回复。您所指的是从本地系统写入HDFS。需求是,对象(我在上面的问题中提到的模型)是在代码中构建的,并且是特定类型的。它不在本地文件系统中,而是在Spark处理代码中。如果驱动程序节点上存在二进制对象,则可以将其存储为上面链接的第二部分。如果对象显示为数据帧或RDD,则可以使用“SaveAsObject文件”:有关更多信息,请查看可用的Spark输出formats@pashaz再次感谢。目标文件确实在驱动程序中。它不是一个列表,但可以转换它并使用SaveAsObject文件。这很有魅力。非常感谢你的帮助,帕哈兹。。