Cloud 谷歌计算引擎上最好的文件服务器是什么

Cloud 谷歌计算引擎上最好的文件服务器是什么,cloud,google-cloud-storage,google-compute-engine,gcsfuse,Cloud,Google Cloud Storage,Google Compute Engine,Gcsfuse,我们正试图从数据中心转移到谷歌计算引擎。 虽然我们了解如何设置实例和部署工作负载,但我们不确定存储数据的最佳等效方法是什么。 我们每天接收一次数据,在过去的1-2年中,在每台服务器上全天都在对接收到的数据进行研究。 有什么建议吗?听起来您在寻找NFS之类的共享文件服务器。您可以在单个GCE实例上运行NFS服务器,将数据分发到各个计算节点。Linux文档项目 另一种选择是使用对象存储,如,它允许您以各种名称存储二进制数据块(有点像云文件系统)。如果您的软件需要使用标准的文件系统命令来访问数据,那么

我们正试图从数据中心转移到谷歌计算引擎。 虽然我们了解如何设置实例和部署工作负载,但我们不确定存储数据的最佳等效方法是什么。 我们每天接收一次数据,在过去的1-2年中,在每台服务器上全天都在对接收到的数据进行研究。
有什么建议吗?

听起来您在寻找NFS之类的共享文件服务器。您可以在单个GCE实例上运行NFS服务器,将数据分发到各个计算节点。Linux文档项目

另一种选择是使用对象存储,如,它允许您以各种名称存储二进制数据块(有点像云文件系统)。如果您的软件需要使用标准的文件系统命令来访问数据,那么可以使用类似FUSE的文件系统将Google存储桶导出为每台机器上的一组文件和目录

如何在两个选项中进行选择:

  • 如果您已经在使用NFS,那么继续使用与现场相同的配置可能会更舒服。如果没有,我建议试试s3fuse和GCS
  • 如果您运行自己的NFS服务器,则需要负责可能需要执行的任何备份等操作。谷歌云存储是在多个站点之间复制的,所以即使一个站点有维护,您仍然可以读写数据
  • 像s3fuse这样的FUSE文件系统倾向于支持读写操作,但可能不支持复杂的锁定行为或类似于NFS的行为
  • 您对GCS中存储的数据的读写次数可能会收取费用。(我不记得了;我想。)如果您选择运行自己的NFS服务器,您将不得不为正在运行的实例和持久磁盘以及对磁盘的读写操作付费
  • 您可能还对另一个堆栈溢出问题感兴趣,它涵盖了一些相同的方面:

    只是附和E.Anderson的回答,如果您已经在使用NFS并考虑使用,您可能还想看看哪一个做了类似的工作,但(我听说)在GCS上有更好的性能(有关各种额外的技术细节,请参阅)。能否进一步澄清您的问题?什么样的数据,你是如何使用的?您可以运行您熟悉的标准服务,如Web服务器、sftp等,也可以查看特定的Google技术,以帮助增加您的处理需求。我们通常接收二进制数据、固定结构。我们非常熟悉处理它。我们一直在数据中心的许多计算服务器上共享一个文件服务器的传统设置下对其进行操作。我们正在尝试将此过程转移到云上。那部分对我们来说是新的。