Google cloud platform 如何在dataprep中刷新一个数据集?

Google cloud platform 如何在dataprep中刷新一个数据集?,google-cloud-platform,etl,google-cloud-dataprep,Google Cloud Platform,Etl,Google Cloud Dataprep,我在Dataprep中有一个流,它在Bigquery中使用一个表,该表的模式已更改,现在我如何刷新初始导入而不影响我的ETL或删除我的步骤。我的理解是,BQ连接器的工作方式是,每次处理流时,打开一个配方,输入配方,运行作业。。。GDP总是检查数据源。如果来源数据发生了变化,你的GDP结果将发生变化 如果我错了,请有人开导我 最好的 /e如果表的架构发生更改,则需要再次从BigQuery导入表,并使用更新的表导入原始表。您可以按照以下步骤进行操作: 1.在流程页面中,单击“添加数据集”按钮 2.在

我在Dataprep中有一个流,它在Bigquery中使用一个表,该表的模式已更改,现在我如何刷新初始导入而不影响我的ETL或删除我的步骤。

我的理解是,BQ连接器的工作方式是,每次处理流时,打开一个配方,输入配方,运行作业。。。GDP总是检查数据源。如果来源数据发生了变化,你的GDP结果将发生变化

如果我错了,请有人开导我

最好的


/e

如果表的架构发生更改,则需要再次从BigQuery导入表,并使用更新的表导入原始表。您可以按照以下步骤进行操作:

1.在流程页面中,单击“添加数据集”按钮

2.在弹出菜单上,选择“导入数据集”,然后选择具有更新模式的表

3.在配方页面中,在当前第一步之前插入“加入数据集”步骤

4.选择刚导入的更新数据集,然后单击预览

5.在“连接键”选项卡下,选择“右外部连接”,并将“连接键”设置为公共列

请注意,这仅在数据集具有未更改的唯一ID列时有效