Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Apache Beam将PCollection初始化为空_Apache Spark_Apache Beam - Fatal编程技术网

Apache spark Apache Beam将PCollection初始化为空

Apache spark Apache Beam将PCollection初始化为空,apache-spark,apache-beam,Apache Spark,Apache Beam,我正在尝试将Spark ETL应用程序转换为Beam应用程序 在Spark应用程序中,我有一个空RDD sc.emptyRDD() 其中,sc是SparkContext 如果我能理解的话,PCollection就像SparkRDD。因此,有一种方法可以创建一个空的PCollection?使用create.empty()。由于PCollections是类型化的并且需要编码器,因此您还需要指定编码器或类型描述符(即使集合为空),例如PCollection emptyStrings=Create.of

我正在尝试将Spark ETL应用程序转换为Beam应用程序

在Spark应用程序中,我有一个空RDD

sc.emptyRDD()

其中,
sc
SparkContext

如果我能理解的话,
PCollection
就像Spark
RDD
。因此,有一种方法可以创建一个空的
PCollection

使用
create.empty()
。由于
PCollection
s是类型化的并且需要编码器,因此您还需要指定编码器或类型描述符(即使集合为空),例如
PCollection emptyStrings=Create.of(StringUtf8Coder.of())
使用
Create.empty()
。由于
PCollection
s是类型化的并且需要编码者,因此您还需要指定编码者或类型描述符(即使集合为空),例如
PCollection emptyStrings=Create.of(StringUtf8Coder.of())

对我有效的是:

PCollection output=p.apply(Create.empty(StringUtf8Coder.of());
对我有用的是:

PCollection output=p.apply(Create.empty(StringUtf8Coder.of());