Fatal编程技术网

Google cloud platform 将公共数据直接从FTP下载到Google云存储桶

google-cloud-platform ftp

Google cloud platform 将公共数据直接从FTP下载到Google云存储桶,google-cloud-platform,ftp,Google Cloud Platform,Ftp,我需要处理一些公开的大型基因组文件，并希望将它们存储在谷歌云上。直接下载是有意义的，我能找到的最相似的事情是设置数据传输。数据传输需要TSV文件的URL，该文件具有链接、大小和MD5 有没有我不熟悉的更好的方法 对于未提供MD5的远程对象，您如何找到MD5？这可能吗 我不知道为什么是必要的，有一个网址，而不是上传TSV，但我还没有成功地提供了一个。当我将创建的文件上载到GDrive或TinyUpload并提供获得的链接时，传输失败，出现如下错误： 详细信息：URL列表中的第一行必须是TsvHtt

我需要处理一些公开的大型基因组文件，并希望将它们存储在谷歌云上。直接下载是有意义的，我能找到的最相似的事情是设置数据传输。数据传输需要TSV文件的URL，该文件具有链接、大小和MD5

  • 有没有我不熟悉的更好的方法
  • 对于未提供MD5的远程对象，您如何找到MD5？这可能吗
  • 我不知道为什么是必要的，有一个网址，而不是上传TSV，但我还没有成功地提供了一个。当我将创建的文件上载到GDrive或TinyUpload并提供获得的链接时，传输失败，出现如下错误：
    • 详细信息：URL列表中的第一行必须是TsvHttpData-1.0，但它是：

    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.1//EN" "http://www.w3.org/TR/xhtml11/DTD/xhtml11.dtd">
    有人能帮忙吗？谢谢

    您可以使用gcloudsdk中的gsutil命令从Google云存储中进行复制

    gsutil cp{SOURCE}{DESTINATION}
    在这种情况下，目标将类似于：gs://{BUCKET\u NAME}/{FOLDER\u NAME}

    此源是否可以是FTP？