Google bigquery google bigquery提取压缩现在不起作用

Google bigquery google bigquery提取压缩现在不起作用,google-bigquery,Google Bigquery,我正在通过使用提取作业将bigquery表提取到google clous存储 使用压缩:'GZIP'选项 但这不是工作 在gcs中将其提取为平面csv文件。不是gzip文件 它昨天起作用了 但今天不行。如评论所述,这是由于地面军事系统的原因。我认为这是一个错误,BQ压缩的导出结果是未压缩的。我们将看看他们是否在白天改变它 解决方法:重置标题 gsutil setmeta-h”内容编码:“gs://bucket\u name/path/*.gz 公共追踪者:我今天也遇到了同样的问题。Google

我正在通过使用提取作业将bigquery表提取到google clous存储

使用压缩:'GZIP'选项

但这不是工作

在gcs中将其提取为平面csv文件。不是gzip文件

它昨天起作用了


但今天不行。

如评论所述,这是由于地面军事系统的原因。我认为这是一个错误,BQ压缩的导出结果是未压缩的。我们将看看他们是否在白天改变它

解决方法:重置标题

gsutil setmeta-h”内容编码:“gs://bucket\u name/path/*.gz


公共追踪者:

我今天也遇到了同样的问题。Google BigQuery现在似乎默认情况下会将文件保存在Google cloud bucket中,尽管这些文件在您的bucket中进行了压缩,但在下载它们时,Google cloud storage允许从它们的文件元数据中解压缩它们(也称为解压缩转码)。我找到了解决问题的方法,不是从BigQueryAPI,而是云存储api

在我跑步之前:

blob.下载到文件(文件名)

我使用:

blob.cache\u控件='no transform'


这似乎解决了我的问题。顺便说一句,上面的解决方案是针对。你的工具可能不同,但我希望我帮助了别人。其他工具可能与我正在使用的工具具有类似的解决方案,因此这可能会有所帮助。

Hi。正如您上面所描述的,我的api也有类似的问题,但我能够找到问题的根源。通过api(或UI)将BigQuery表移动到Google云存储桶在压缩部分可以很好地工作。但是,当我使用blob.download_to_file将谷歌云存储中的文件下载到我的服务器时,它会解压为zip格式。类似地,直到今天,我的ETL脚本已经运行了一年多了(总是收到桶中的任何内容,而不是解压缩文件)。嘿,我认为这应该报告给谷歌自己,因为这太奇怪了。当我在UI上下载位于我的Google云存储桶中的gzip文件时,它会在我在web浏览器上下载时解压缩文件。除了文件比我存储桶中的文件大之外,我的未压缩软件无法识别该文件,只有在我删除文件格式“gz”后,我才能在记事本上打开它。谷歌在从谷歌云存储桶下载文件方面做了核心改变吗?看来,我从BigQuery生成的文件现在的格式使得谷歌云存储可以进行解压缩转码