Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/database/8.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Database 如何快速访问云中的TB级数据?_Database_Http_Amazon S3_Python Requests_Gcloud - Fatal编程技术网

Database 如何快速访问云中的TB级数据?

Database 如何快速访问云中的TB级数据?,database,http,amazon-s3,python-requests,gcloud,Database,Http,Amazon S3,Python Requests,Gcloud,我们在谷歌硬盘中存储了数TB的数据。最初,因为我们使用的是谷歌云虚拟机,所以我们在云中进行开发工作,并且能够访问数据 现在,我们购买了自己的服务器,在那里运行我们的应用程序,我们将数据带到本地磁盘,这些磁盘将被我们的应用程序访问。使用scp在网络上传输数据特别是TB的速度非常慢。有人能提出解决这个问题的方法吗 我想的是,没有一种方法可以让我们一直运行一个脚本,等待google云实例上的请求(它通过HTTP发送请求的数据!),而从本地_服务器,我们可以一次请求数据! 我知道这种情况再次在网络上发生

我们在谷歌硬盘中存储了数TB的数据。最初,因为我们使用的是谷歌云虚拟机,所以我们在云中进行开发工作,并且能够访问数据

现在,我们购买了自己的服务器,在那里运行我们的应用程序,我们将数据带到本地磁盘,这些磁盘将被我们的应用程序访问。使用
scp
在网络上传输数据特别是TB的速度非常慢。有人能提出解决这个问题的方法吗

我想的是,没有一种方法可以让我们一直运行一个脚本,等待google云实例上的请求(它通过HTTP发送请求的数据!),而从本地_服务器,我们可以一次请求数据! 我知道这种情况再次在网络上发生,但我认为我们可以用这种方法进行扩展,但我可能错了!。这是一种客户端-服务器(1:1)布局,用于构建前端和后端之间的交互!有什么建议吗

  • 那会很慢吗?比使用SCP带来数据慢
您可以下载完整的虚拟机磁盘并在服务器上装载int,或者下载磁盘,然后复制数据并删除虚拟机磁盘。在任何情况下,您都应遵循以下步骤:

  • 拥有所有数据的虚拟机
  • 并将VM映像复制到您的服务器
  • 根据在服务器上运行映像

  • 这将花费更少的时间,因为您是在本地进行的,避免了网络流量。

    您可以下载完整的虚拟机磁盘并在服务器上装载int,或者下载磁盘,然后复制数据并删除虚拟机磁盘。在任何情况下,您都应遵循以下步骤:

  • 拥有所有数据的虚拟机
  • 并将VM映像复制到您的服务器
  • 根据在服务器上运行映像

  • 这将花费更少的时间,因为您是在本地进行的,并且避免了网络流量。

    在遇到令人不快的惊喜之前,请记住,从GCP导出每TB数据的成本约为120美元,除非您有其他安排允许您避免标准出口定价。如果有可能的话,积极的压缩将节省成本和时间。啊!那太贵了!我不知道。没有办法直接从GCP购买硬盘。我的意思是,公司在云上存储了数PB的数据,应该有选择吗?如果我错了,请纠正我。我认为您将不得不承担将数据从云端传输到本地的一次性成本。我怀疑谷歌会在这个问题上打折扣,因为你正在从他们手中夺走业务。此外,关于您提到的方法,您还可以扩展SCP方法。有更多的机器在不同的文件上执行SCP,还是我遗漏了什么?您是想从VM实例磁盘还是从Google云存储服务(如data Store或Cloud SQL)导出数据?@rsalina,从VM!在遇到令人不快的惊喜之前,请记住,从GCP导出每TB数据的成本约为120美元,除非您有其他安排允许您避免标准出口定价。如果有可能的话,积极的压缩将节省成本和时间。啊!那太贵了!我不知道。没有办法直接从GCP购买硬盘。我的意思是,公司在云上存储了数PB的数据,应该有选择吗?如果我错了,请纠正我。我认为您将不得不承担将数据从云端传输到本地的一次性成本。我怀疑谷歌会在这个问题上打折扣,因为你正在从他们手中夺走业务。此外,关于您提到的方法,您还可以扩展SCP方法。有更多的机器在不同的文件上执行SCP,还是我遗漏了什么?您是想从VM实例磁盘还是从Google云存储服务(如data Store或Cloud SQL)导出数据?@rsalina,从VM!