Google app engine PCollection<;实体>;到PCollection<;TableRows>;
我尝试使用Dataflow查询数据存储中的所有类型,并将它们写入BigQuery中的日期分段分区。使用Google app engine PCollection<;实体>;到PCollection<;TableRows>;,google-app-engine,google-bigquery,google-cloud-dataflow,Google App Engine,Google Bigquery,Google Cloud Dataflow,我尝试使用Dataflow查询数据存储中的所有类型,并将它们写入BigQuery中的日期分段分区。使用DatastoreIO.read()阅读部分很容易,并为我提供了一个PCollection BigQuery需要一个PCollection,我可以隐式地从一个转换到另一个吗?我的数据涉及一些不可预测的字段(例如嵌入属性中的数据),因此无法显式转换所有字段 另外,如果与此相关,我想使用SerializableFunction为每个数据存储实体(将是YYYYMMDD类型)动态设置目标表您必须自己将P
DatastoreIO.read()
阅读部分很容易,并为我提供了一个PCollection
BigQuery需要一个PCollection
,我可以隐式地从一个转换到另一个吗?我的数据涉及一些不可预测的字段(例如嵌入属性中的数据),因此无法显式转换所有字段
另外,如果与此相关,我想使用
SerializableFunction
为每个数据存储实体(将是YYYYMMDD类型)动态设置目标表您必须自己将PCollection
转换为PCollection
。BigQueryIO.write()的API需要一个TableRow
。要转换它们,您需要在PCollection
顶部应用ParDo
另外,您还可以直接将数据存储备份加载到BigQuery中,而无需使用数据流。请参阅。您必须自己将PCollection
转换为PCollection
。BigQueryIO.write()的API需要一个TableRow
。要转换它们,您需要在PCollection
顶部应用ParDo
另外,您还可以直接将数据存储备份加载到BigQuery中,而无需使用数据流。请参阅。ParDo是否可以自动检测列类型?您的意思是什么?您需要分别指定I
(输入)和O
(输出)的类型-在您的案例中是实体
和表格行
。我的意思是必须手动分配每个属性吗?例如row.id=entity.idies,据我所知,这是唯一的方法。ParDo能自动检测列类型吗?你是什么意思?您需要分别指定I
(输入)和O
(输出)的类型-在您的案例中是实体
和表格行
。我的意思是必须手动分配每个属性吗?例如row.id=entity.idies,据我所知,这是唯一的方法。