Google bigquery 从bucket文件创建表时出现的问题

Google bigquery 从bucket文件创建表时出现的问题,google-bigquery,google-cloud-storage,Google Bigquery,Google Cloud Storage,我有一个很大的表(大约1000万行),我正试图将它放入我的bigquery中。由于创建表时的大小限制,我不得不将CSV上传到bucket中。当我尝试使用数据存储创建表时,作业失败,错误如下: Error Reason:invalid. Get more information about this error at Troubleshooting Errors: invalid. Errors: gs://es_main/provider.csv does not contain valid b

我有一个很大的表(大约1000万行),我正试图将它放入我的bigquery中。由于创建表时的大小限制,我不得不将CSV上传到bucket中。当我尝试使用数据存储创建表时,作业失败,错误如下:

Error Reason:invalid. Get more information about this error at Troubleshooting Errors: invalid.
Errors:
gs://es_main/provider.csv does not contain valid backup metadata.
Job ID: liquid-cumulus:job_KXxmLZI0Ulch5WmkIthqZ4boGgM
Start Time: Dec 16, 2015, 3:00:51 PM
End Time: Dec 16, 2015, 3:00:51 PM
Destination Table: liquid-cumulus:ES_Main.providercloudtest
Source URI: gs://es_main/provider.csv
Source Format: Datastore Backup
我使用了一个来自同一个表的行的小样本文件,并在创建表时使用CSV功能进行上传,没有任何错误,并且可以很好地查看数据


我只是想知道,在bucket中的“editmatadata”选项中,元数据应该设置成什么样,或者我是否缺少一些其他的工作。谢谢

您发布的作业错误消息告诉您,您提供的文件不是文件。请注意,“数据存储”在这里的意思是,这是另一种听起来好像您没有使用的存储解决方案。云数据存储备份是该存储产品的特定文件类型,与CSV或JSON不同

在Google Cloud Storage browser中设置文件元数据,这是您谈论的“编辑元数据”选项的位置,应该不会影响BigQuery导入文件的方式。如果您正在对云存储中的文件进行更多的处理,这可能很重要,但据我所知,BigQuery并不重要

要将CSV文件从Google云存储上传到BigQuery,请确保选择CSV源格式和Google存储加载源,如下图所示


谢谢你的建议。我是谷歌的新手,所以我可能会错过一些东西,但我不是用他们的数据存储来上传数据,而是用存储>存储桶。当我上传时,我没有选择上传什么类型的数据,只选择“上传文件”。上传文件后,可以选择调整元数据;这是默认情况下的样子:我编辑了上面的回复,希望澄清一下。简短版本:“编辑元数据”应该不会影响BigQuery导入数据的方式。上传文件时,请确保选择“CSV”作为源格式,否则您的CSV文件将被解释为不同的数据格式并失败。