elasticsearch 如何在Google Compute Engine上配置用于备份elasticsearch数据的结构?,elasticsearch,google-compute-engine,google-cloud-platform,backup-strategies,elasticsearch,Google Compute Engine,Google Cloud Platform,Backup Strategies" /> elasticsearch 如何在Google Compute Engine上配置用于备份elasticsearch数据的结构?,elasticsearch,google-compute-engine,google-cloud-platform,backup-strategies,elasticsearch,Google Compute Engine,Google Cloud Platform,Backup Strategies" />

elasticsearch 如何在Google Compute Engine上配置用于备份elasticsearch数据的结构?

elasticsearch 如何在Google Compute Engine上配置用于备份elasticsearch数据的结构?,elasticsearch,google-compute-engine,google-cloud-platform,backup-strategies,elasticsearch,Google Compute Engine,Google Cloud Platform,Backup Strategies,我在带有两个节点的GCE(谷歌计算引擎)上配置了eelasticsearch环境,因此有两个VM,我需要为此创建一个备份策略。 我首先想到可以使用elasticsearch快照API将所有数据备份到给定的存储中,因为该API支持几种存储快照的方法 共享文件系统,如NAS 亚马逊S3 HDFS(Hadoop分布式文件系统) 蔚蓝的云 我尝试使用共享文件系统选项,但它要求在节点之间共享存储位置。有没有办法让我在GCE上做到这一点 curl -XPUT http://x.x.x.x:9200/_s

我在带有两个节点的GCE(谷歌计算引擎)上配置了eelasticsearch环境,因此有两个VM,我需要为此创建一个备份策略。 我首先想到可以使用elasticsearch快照API将所有数据备份到给定的存储中,因为该API支持几种存储快照的方法

  • 共享文件系统,如NAS
  • 亚马逊S3
  • HDFS(Hadoop分布式文件系统)
  • 蔚蓝的云
我尝试使用共享文件系统选项,但它要求在节点之间共享存储位置。有没有办法让我在GCE上做到这一点

curl -XPUT http://x.x.x.x:9200/_snapshot/backup -d '{
    "type": "fs",
    "settings": {
        "compress" : true,
        "location": "/elasticsearch/backup"
    }
}"

nested:RepositoryVerificationException[[backup]存储位置[/elasticsearch/backup]未在节点之间共享

我知道有一个用于存储备份的插件。是否有任何用于谷歌云存储的插件?是否有可能做到这一点


如果上述任何一种方法都不可行,那么有没有其他建议的备份我的数据的策略?

您可以通过互操作性将S3插件与谷歌云存储结合使用。有关更多详细信息,请参阅此


或者,您可以在文件系统中创建一个普通备份,然后使用gsutil将其上载到云存储。

我在Google cloud上的ES群集(5个节点)也有同样的问题。我们不能像Jon上面提到的那样在实际磁盘上使用本地备份,因为不是每个节点都有我的所有数据


在我看来,唯一的方法是创建一台带有大磁盘的小型计算机,并将该磁盘作为共享驱动器安装在同一路径中的所有5个ES节点上,以便我们可以使用“共享文件系统”选项。

Elasticsearch现在有了,所以这是本机支持的。

谢谢你的建议。我理解S3和GCS之间的互操作性。但这并不意味着Elasticsearch可以通过使用Amazon S3插件进行弹性搜索来与GCS互操作。正常备份指的是创建磁盘快照吗?这会让我产生怀疑请为我拥有的每个elasticsearch节点备份一个,对吗?@Edmariyake不是一个完整的磁盘快照,只要用elasticsearch做一个普通的本地文件系统备份,然后将其复制到云存储。希望这是有意义的,因为我对elasticsearch的工作原理不太熟悉。这个@Edmar Miyake有任何更新吗?你找到了一种方法来备份它吗在GCE上安装CKES?我发现这是目前计划在elasticsearch cloud GCE 2.5.1(插件的下一版本)github.com/elastic/elasticsearch-cloud-GCE/issues中支持的功能/11@chrishiestand不幸的是,我最终使用了亚马逊S3。这是胡说八道,因为亚马逊和GCE是竞争对手。