Google bigquery Dataprep将数据集/表留在BigQuery中_Google Bigquery_Google Cloud Dataflow_Google Cloud Dataprep

Google bigquery Dataprep将数据集/表留在BigQuery中

google-bigquery google-cloud-dataflow

Google bigquery Dataprep将数据集/表留在BigQuery中,google-bigquery,google-cloud-dataflow,google-cloud-dataprep,Google Bigquery,Google Cloud Dataflow,Google Cloud Dataprep,我正在使用GoogleCloudDataPrep处理BigQuery中存储的数据。我在dataprep/dataflow中遇到问题，创建了一个名称以“temp\u dataset\u beam\u job”开头的新数据集它似乎为dataprep创建的失败和成功的数据流作业打包了临时数据集。这是一个问题，因为BigQuery在所有这些流中很快变得混乱这在过去不是一个问题 GitHub线程中也描述了类似的问题：有没有办法不创建临时数据集，或者在云存储文件夹中创建它们？这看起来像Apache B

我正在使用GoogleCloudDataPrep处理BigQuery中存储的数据。我在dataprep/dataflow中遇到问题，创建了一个名称以“temp\u dataset\u beam\u job”开头的新数据集

它似乎为dataprep创建的失败和成功的数据流作业打包了临时数据集。这是一个问题，因为BigQuery在所有这些流中很快变得混乱

这在过去不是一个问题

GitHub线程中也描述了类似的问题：

有没有办法不创建临时数据集，或者在云存储文件夹中创建它们？

这看起来像Apache Beam中的一个bug。您知道正在使用哪个版本的Beam吗？Apache Beam SDK for Java 2.16.0。我已经写信给Trifacta，他们已经开了一张工程票来解决这个问题。这可能是一个Apache Beam bug：是的，看起来是这样。除了设置一个作业来删除临时数据集之外，您还知道其他解决方案吗？这看起来像ApacheBeam中的一个bug。您知道正在使用哪个版本的Beam吗？Apache Beam SDK for Java 2.16.0。我已经写信给Trifacta，他们已经开了一张工程票来解决这个问题。这可能是一个Apache Beam bug：是的，看起来是这样。您知道目前除了设置作业以删除临时数据集之外，还有其他解决方案吗？