Apache spark Apache Beam将PCollection初始化为空
我正在尝试将Spark ETL应用程序转换为Beam应用程序 在Spark应用程序中,我有一个空RDDApache spark Apache Beam将PCollection初始化为空,apache-spark,apache-beam,Apache Spark,Apache Beam,我正在尝试将Spark ETL应用程序转换为Beam应用程序 在Spark应用程序中,我有一个空RDD sc.emptyRDD() 其中,sc是SparkContext 如果我能理解的话,PCollection就像SparkRDD。因此,有一种方法可以创建一个空的PCollection?使用create.empty()。由于PCollections是类型化的并且需要编码器,因此您还需要指定编码器或类型描述符(即使集合为空),例如PCollection emptyStrings=Create.of
sc.emptyRDD()
其中,sc
是SparkContext
如果我能理解的话,PCollection
就像SparkRDD
。因此,有一种方法可以创建一个空的PCollection
?使用create.empty()
。由于PCollection
s是类型化的并且需要编码器,因此您还需要指定编码器或类型描述符(即使集合为空),例如PCollection emptyStrings=Create.of(StringUtf8Coder.of())
使用Create.empty()
。由于PCollection
s是类型化的并且需要编码者,因此您还需要指定编码者或类型描述符(即使集合为空),例如PCollection emptyStrings=Create.of(StringUtf8Coder.of())
对我有效的是:
PCollection output=p.apply(Create.empty(StringUtf8Coder.of());
对我有用的是:
PCollection output=p.apply(Create.empty(StringUtf8Coder.of());