Csv 如何获得BQ文件加载的进度

Csv 如何获得BQ文件加载的进度,csv,google-bigquery,Csv,Google Bigquery,将大型csv(或其他类型)文件导入BigQuery时,我们如何获得导入进度?例如,如果我们有一个1TB的文件,并使用import csv命令,我不想在那里等10个小时,等待文件导入。我们怎样才能取得进展,还是不可能 现在,在csv文件加载之前,我们无法获取它 关于进度条: 任务正在进行时,不会返回特定于加载任务的统计信息。统计信息只包含开始/结束时间,JavaAPI将其解析为CopyStatistics类 { "kind": "bigquery#job", "etag": "\"smpM

将大型csv(或其他类型)文件导入BigQuery时,我们如何获得导入进度?例如,如果我们有一个1TB的文件,并使用import csv命令,我不想在那里等10个小时,等待文件导入。我们怎样才能取得进展,还是不可能

现在,在csv文件加载之前,我们无法获取它


关于进度条:

任务正在进行时,不会返回特定于加载任务的统计信息。统计信息只包含开始/结束时间,JavaAPI将其解析为CopyStatistics类

{
 "kind": "bigquery#job",
 "etag": "\"smpMas70-D1-zV2oEH0ud6qY21c/crKHebm6x2NXA6pCjE8znB7dp-E\"",
 "id": "YYY:job_l9TWVQ64YjKx7BgDufu2gReMEL0",
 "selfLink": "https://www.googleapis.com/bigquery/v2/projects/YYY/jobs/job_l9TWVQ64YjKx7BgDufu2gReMEL0",
 "jobReference": {
  "projectId": "YYY",
  "jobId": "job_l9TWVQ64YjKx7BgDufu2gReMEL0"
 },
 "configuration": {
  "load": {
   "sourceUris": [
    "gs://datadocs/afdfb50f-cbc2-47d4-985e-080cadefc963"
   ],
   "schema": {
    "fields": [
       ...
    ]
   },
   "destinationTable": {
    "projectId": "YYY",
    "datasetId": "1aaf1682dbc2403e92a0a0ed8534581f",
    "tableId": "ORIGIN"
   },
   "createDisposition": "CREATE_IF_NEEDED",
   "writeDisposition": "WRITE_EMPTY",
   "fieldDelimiter": ",",
   "skipLeadingRows": 1,
   "quote": "\"",
   "maxBadRecords": 1000,
   "allowQuotedNewlines": true,
   "sourceFormat": "CSV"
  }
 },
 "status": {
  "state": "RUNNING"
 },
 "statistics": {
  "creationTime": "1490868448431",
  "startTime": "1490868449147"
 },
 "user_email": "YYY@appspot.gserviceaccount.com"
}
只有在导入整个CSV文件后,才会返回负载统计信息


在上传过程中,我们如何获得进度?

请查看

根据文档-当加载作业处于运行状态时,此 价值可能会改变


你可以用它来做实验——如果这可以通过调用来作为进度指标的话

不,这似乎不起作用——请看更新的问题。我刚刚用了小得多的文件做了实验,获得了同样的经验,但我想可能是因为小文件的缘故——希望这对1TB文件来说会有所不同。感谢您更新您的结果!我认为文档中提到的
更改
要么不正确(不太可能),要么与多文件加载场景相关-在我的环境中,当我们加载文件时,从来没有机会玩过这个游戏(当我们转到流式处理时,不再那么频繁),我们确保文件的大小达到256MB,然后在我们这边处理进度