Google app engine PCollection<;实体>;到PCollection<;TableRows>;

Google app engine PCollection<;实体>;到PCollection<;TableRows>;,google-app-engine,google-bigquery,google-cloud-dataflow,Google App Engine,Google Bigquery,Google Cloud Dataflow,我尝试使用Dataflow查询数据存储中的所有类型,并将它们写入BigQuery中的日期分段分区。使用DatastoreIO.read()阅读部分很容易,并为我提供了一个PCollection BigQuery需要一个PCollection,我可以隐式地从一个转换到另一个吗?我的数据涉及一些不可预测的字段(例如嵌入属性中的数据),因此无法显式转换所有字段 另外,如果与此相关,我想使用SerializableFunction为每个数据存储实体(将是YYYYMMDD类型)动态设置目标表您必须自己将P

我尝试使用Dataflow查询数据存储中的所有类型,并将它们写入BigQuery中的日期分段分区。使用
DatastoreIO.read()
阅读部分很容易,并为我提供了一个
PCollection

BigQuery需要一个
PCollection
,我可以隐式地从一个转换到另一个吗?我的数据涉及一些不可预测的字段(例如嵌入属性中的数据),因此无法显式转换所有字段


另外,如果与此相关,我想使用
SerializableFunction
为每个数据存储实体(将是YYYYMMDD类型)动态设置目标表您必须自己将
PCollection
转换为
PCollection
BigQueryIO.write()的API需要一个
TableRow
。要转换它们,您需要在
PCollection
顶部应用
ParDo


另外,您还可以直接将数据存储备份加载到BigQuery中,而无需使用数据流。请参阅。

您必须自己将
PCollection
转换为
PCollection
BigQueryIO.write()的API需要一个
TableRow
。要转换它们,您需要在
PCollection
顶部应用
ParDo


另外,您还可以直接将数据存储备份加载到BigQuery中,而无需使用数据流。请参阅。

ParDo是否可以自动检测列类型?您的意思是什么?您需要分别指定
I
(输入)和
O
(输出)的类型-在您的案例中是
实体
表格行
。我的意思是必须手动分配每个属性吗?例如row.id=entity.idies,据我所知,这是唯一的方法。ParDo能自动检测列类型吗?你是什么意思?您需要分别指定
I
(输入)和
O
(输出)的类型-在您的案例中是
实体
表格行
。我的意思是必须手动分配每个属性吗?例如row.id=entity.idies,据我所知,这是唯一的方法。