Google cloud storage 在GCP中有没有办法将TSV文件从存储桶转储到云MySql?

Google cloud storage 在GCP中有没有办法将TSV文件从存储桶转储到云MySql?,google-cloud-storage,google-cloud-sql,Google Cloud Storage,Google Cloud Sql,有没有办法将TSV文件从存储桶转储到GCP中的云MySql?。我有一个4米行的TSV大文件 我无法将其转换为CSV。到今天为止,尽管如此,我建议您看看这个解决方案。我使用Python使这个过程自动化,以防您需要它多次执行。在本例中,我尝试重现您的问题,并编写了一个脚本,基本上: 从指定的云存储桶下载TSV文件 将TSV文件转换为CSV文件。将CSV文件上载到 指定了云存储桶 将新添加的CSV文件导入到 云SQL 您可以找到代码以及运行的要求。此外,要考虑到在运行之前,您需要替换那些由clauda

有没有办法将TSV文件从存储桶转储到GCP中的云MySql?。我有一个4米行的TSV大文件

我无法将其转换为CSV。

到今天为止,尽管如此,我建议您看看这个解决方案。我使用Python使这个过程自动化,以防您需要它多次执行。在本例中,我尝试重现您的问题,并编写了一个脚本,基本上:

  • 从指定的云存储桶下载TSV文件
  • 将TSV文件转换为CSV文件。将CSV文件上载到
  • 指定了云存储桶
  • 将新添加的CSV文件导入到 云SQL
  • 您可以找到代码以及运行的要求。此外,要考虑到在运行之前,您需要替换那些由claudator关闭的值,例如[BUCKET_NAME]。还要记住,此脚本不会删除TSV下载文件以及CSV文件,因此您需要手动删除它,或者您可以修改代码以自动删除文件


    最后,如果您想进一步了解脚本部分使用的API,我将附上所需的文档&。

    谢谢Christopher,让我试试这个,是的,我有大约160个文件要加载到MySQL中。除了MySql之外,你还可以建议我,有没有支持TSV文件的数据库?到目前为止,GCP还没有任何本地支持TSV文件的数据库。因此,我的建议是首先将其转换为CSV文件,然后将其导入云SQL,正如我在前面的回答中提到的。此外,我还可以看到,您还有另一个问题和另一个用户,Chris32也回答了这个问题。最后,我建议您查看一下脚本,并根据需要进行修改,以便能够将TSV文件导入到云SQL中。嗨,克里斯弗,我尝试了您与我共享的脚本,但它无法工作,我的意思是,我对python脚本没有那么完美。但是我把TSV转换成了CSV和熊猫。再次陷入将CSV导入SQL的困境。我的csv文件大小约为290MB,行数为2.9M。我试图用console和gsutil上传,但我得到一个超时错误。我无法将文件加载到Cloudsql中。你能告诉我会有什么问题吗?我怎样才能传输文件。我也增加了实例容量,但运气不好。非常感谢。shiva数据库表的大小和/或.csv文件的大小不应影响到云MySQL的导入。但是,必须满足CSV文件格式。我还向您附上了有关何时运行导入和导出过程的文档。此外,我还通过不同的方式向您附上了要归档的文档。我还使用以下命令快速复制了一个300MB的csv文件,效果很好:
    gcloud sql import csv[INSTANCE\u NAME]gs://[BUCKET\u NAME]/[file\u NAME]\--database=[database\u NAME]--table=[table\u NAME]