Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/google-cloud-platform/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Google cloud platform 为什么csv文件中的GCP传输失败,错误日志在哪里?_Google Cloud Platform_Google Cloud Storage_Data Transfer - Fatal编程技术网

Google cloud platform 为什么csv文件中的GCP传输失败,错误日志在哪里?

Google cloud platform 为什么csv文件中的GCP传输失败,错误日志在哪里?,google-cloud-platform,google-cloud-storage,data-transfer,Google Cloud Platform,Google Cloud Storage,Data Transfer,我正在测试GCP中的传递函数: 这是csv中的开放数据 我在GCP中的配置: 传输失败,如下所示: 问题1:为什么传输失败 问题2:错误日志在哪里 多谢各位 [更新]: 我检查了日志历史记录,未捕获任何内容: [更新2]: 错误详细信息: 详细信息:URL列表中的第一行必须是TsvHttpData-1.0,但它是:年份、行业聚合、行业代码、行业名称、单位、变量代码、变量名称、变量类别、值、行业代码 我注意到在传输服务中,如果您为源选择第三个选项:它读取TSV文件的URL。本质上,TSV、P

我正在测试GCP中的传递函数:

这是csv中的开放数据

我在GCP中的配置:

传输失败,如下所示:

问题1:为什么传输失败

问题2:错误日志在哪里

多谢各位

[更新]:

我检查了日志历史记录,未捕获任何内容:

[更新2]:

错误详细信息:

详细信息:URL列表中的第一行必须是TsvHttpData-1.0,但它是:年份、行业聚合、行业代码、行业名称、单位、变量代码、变量名称、变量类别、值、行业代码


我注意到在传输服务中,如果您为源选择第三个选项:它读取TSV文件的URL。本质上,TSV、PSV只是CSV的变体,检索源CSV文件没有问题。错误详细信息似乎暗示了一些意想不到的信息。

问题在于,在您的示例中,您将数据文件作为传输源。如果我们阅读有关GCS传输的文档,就会发现必须指定一个包含要复制的目标URL标识的文件

此文件的格式称为制表符分隔值(TSV),包含多个参数,包括:

  • 文件源的URL
  • 源文件的大小(以字节为单位)
  • 源文件内容的MD5哈希
  • 您指定的内容(只是源文件的URL)。。。这不是必需的

    一种可能的解决方案是使用gsutil。它可以选择将流作为输入并将该流写入给定对象。例如:

    curl http://[URL]/[PATH] | gsutil cp - gs://[BUCKET]/[OBJECT]
    
    参考资料:


    GCP操作检测到的错误记录到GCP Stackdriver日志中。我的建议是查看发生错误时日志查看器中的所有日志,看看我们看到了什么。谢谢,没有任何内容,操作更新为ScreenShot我不确定您对Stackdriver有多熟悉,但您的屏幕截图显示了一组经过筛选的内容。我会进入高级视图,移除所有过滤器,看看是否有任何显示。谢谢。我的评论与你的回答重叠。我会再试一次。嗯,我一点也不明白。根据我需要提供大小和MD5散列的指令,为什么我必须提供这两个作为输入参数?URL应该是检索它所需要的唯一东西。是否有任何理由要求尺寸和MD5?如何获得源文件的字节大小(本地下载除外),您提供的链接在我看来描述了一个非常繁琐的过程,我对此感到非常惊讶。@mdivk。。。我不反对:-)。。。我认为应该有一个选项,可以指定一个源URL,找到的任何内容都可以复制/流式传输到目标GCS对象。然而。。。我们的现实是根本不存在。我们可以做的是向谷歌提出增强请求,要求添加一些内容。或者,您可以使用gsutil命令(例如)Cool拼凑出一个解决方案,这个解决方案就像一个神奇的技巧,4M在一个滴答声中完成。非常感谢。请修改你的答案并加入这个技巧,我很乐意接受它作为答案。很高兴这对你有用!!感谢您向Stackoverflow发布了精彩的问题!!