Warning: file_get_contents(/data/phpspider/zhask/data//catemap/4/oop/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Google bigquery BigQuery-1使用JavaAPI复制了许多文件_Google Bigquery - Fatal编程技术网

Google bigquery BigQuery-1使用JavaAPI复制了许多文件

Google bigquery BigQuery-1使用JavaAPI复制了许多文件,google-bigquery,Google Bigquery,我正在使用JavaAPI快速启动程序将CSV文件上传到bigquery表中。我上传了上千个文件,但在表1中的一个文件行在bigquery中重复。我查看了日志,但只找到了一个上传条目。也经历了许多类似的问题,@jordan提到bug已经修复。这种行为有什么原因吗?我还没有尝试设置一个工作id提到的解决方案。但只是无法从我的重复条目方面得到任何理由 由于BigQuery是通过设计附加的,因此您需要接受系统中会有一些重复项,并且能够以选择最新版本的方式编写查询。我实际上返回了我上载的CSV文件,并使用

我正在使用JavaAPI快速启动程序将CSV文件上传到bigquery表中。我上传了上千个文件,但在表1中的一个文件行在bigquery中重复。我查看了日志,但只找到了一个上传条目。也经历了许多类似的问题,@jordan提到bug已经修复。这种行为有什么原因吗?我还没有尝试设置一个工作id提到的解决方案。但只是无法从我的重复条目方面得到任何理由

由于BigQuery是通过设计附加的,因此您需要接受系统中会有一些重复项,并且能够以选择最新版本的方式编写查询。

我实际上返回了我上载的CSV文件,并使用grep在单个文件中查找所有重复项。是否有可能该文件已上载但收到失败,因此再次上载?能否提供多次添加该文件的作业的作业id?我已尝试使用bq工具检查作业,bq ls-j命令它列出了2014/12/09没有加载作业的作业,我上传了该文件并获得了副本。当天的所有作业以及其他许多天的作业仅显示类型为“查询”,而不显示“加载”。这使得我很难跟踪加载操作。您正在运行流式插入吗?因为这些不会显示在作业列表中。在此链接(您需要替换项目id){project_id}/apui/apiview/bigquery?tabId=usage