Fatal编程技术网
  • hadoop/
  • Hadoop 我可以在Spark中创建序列文件吗？

Hadoop 我可以在Spark中创建序列文件吗？

hadoop apache-spark mapreduce apache-pig

Hadoop 我可以在Spark中创建序列文件吗？,hadoop,apache-spark,mapreduce,apache-pig,sequencefile,Hadoop,Apache Spark,Mapreduce,Apache Pig,Sequencefile,目前，我们在pig中实现了从记录生成序列文件，其中记录的某些属性被视为序列文件的键，并且与该键对应的所有记录都存储在一个序列文件中。当我们转向spark时，我想知道如何在spark中实现这一点 saveAsSequnceFile将数据另存为序列文件 val a=sc.parallelize(List(1,2,3,4,5)).map(x=>(x,x*10)).saveAsSequenceFile("/saw1") $ hadoop fs -cat /sqes/part-00000 SEQ

目前，我们在pig中实现了从记录生成序列文件，其中记录的某些属性被视为序列文件的键，并且与该键对应的所有记录都存储在一个序列文件中。当我们转向spark时，我想知道如何在spark中实现这一点

saveAsSequnceFile将数据另存为序列文件

val a=sc.parallelize(List(1,2,3,4,5)).map(x=>(x,x*10)).saveAsSequenceFile("/saw1")

$ hadoop fs -cat /sqes/part-00000
SEQ org.apache.hadoop.io.IntWritable org.apache.hadoop.io.IntWritableZ      tTrh7��g�,��
2[cloudera@quickstart ~]$
要读取sequencefile，请使用sc.sequencefile

 val sw=sc.sequenceFile("/saw1/part-00000", classOf[IntWritable],classOf[IntWritable]).collect