Csv 如何获得BQ文件加载的进度
将大型csv(或其他类型)文件导入BigQuery时,我们如何获得导入进度?例如,如果我们有一个1TB的文件,并使用import csv命令,我不想在那里等10个小时,等待文件导入。我们怎样才能取得进展,还是不可能 现在,在csv文件加载之前,我们无法获取它Csv 如何获得BQ文件加载的进度,csv,google-bigquery,Csv,Google Bigquery,将大型csv(或其他类型)文件导入BigQuery时,我们如何获得导入进度?例如,如果我们有一个1TB的文件,并使用import csv命令,我不想在那里等10个小时,等待文件导入。我们怎样才能取得进展,还是不可能 现在,在csv文件加载之前,我们无法获取它 关于进度条: 任务正在进行时,不会返回特定于加载任务的统计信息。统计信息只包含开始/结束时间,JavaAPI将其解析为CopyStatistics类 { "kind": "bigquery#job", "etag": "\"smpM
关于进度条: 任务正在进行时,不会返回特定于加载任务的统计信息。统计信息只包含开始/结束时间,JavaAPI将其解析为CopyStatistics类
{
"kind": "bigquery#job",
"etag": "\"smpMas70-D1-zV2oEH0ud6qY21c/crKHebm6x2NXA6pCjE8znB7dp-E\"",
"id": "YYY:job_l9TWVQ64YjKx7BgDufu2gReMEL0",
"selfLink": "https://www.googleapis.com/bigquery/v2/projects/YYY/jobs/job_l9TWVQ64YjKx7BgDufu2gReMEL0",
"jobReference": {
"projectId": "YYY",
"jobId": "job_l9TWVQ64YjKx7BgDufu2gReMEL0"
},
"configuration": {
"load": {
"sourceUris": [
"gs://datadocs/afdfb50f-cbc2-47d4-985e-080cadefc963"
],
"schema": {
"fields": [
...
]
},
"destinationTable": {
"projectId": "YYY",
"datasetId": "1aaf1682dbc2403e92a0a0ed8534581f",
"tableId": "ORIGIN"
},
"createDisposition": "CREATE_IF_NEEDED",
"writeDisposition": "WRITE_EMPTY",
"fieldDelimiter": ",",
"skipLeadingRows": 1,
"quote": "\"",
"maxBadRecords": 1000,
"allowQuotedNewlines": true,
"sourceFormat": "CSV"
}
},
"status": {
"state": "RUNNING"
},
"statistics": {
"creationTime": "1490868448431",
"startTime": "1490868449147"
},
"user_email": "YYY@appspot.gserviceaccount.com"
}
只有在导入整个CSV文件后,才会返回负载统计信息
在上传过程中,我们如何获得进度?请查看 根据文档-当加载作业处于运行状态时,此 价值可能会改变
你可以用它来做实验——如果这可以通过调用来作为进度指标的话不,这似乎不起作用——请看更新的问题。我刚刚用了小得多的文件做了实验,获得了同样的经验,但我想可能是因为小文件的缘故——希望这对1TB文件来说会有所不同。感谢您更新您的结果!我认为文档中提到的
更改
要么不正确(不太可能),要么与多文件加载场景相关-在我的环境中,当我们加载文件时,从来没有机会玩过这个游戏(当我们转到流式处理时,不再那么频繁),我们确保文件的大小达到256MB,然后在我们这边处理进度