Amazon s3 将数据从Marklogic复制到Amazon S3

有没有办法将数据从Marklogic Server复制/移动到Amazon S3？我不希望移动所有数据，但希望移动与特定集合或其他逻辑相关的某些文档。我可以做xdmp:save（），这可以处理几千个文档，但我有几百万条记录，这种方法在这种情况下效果不好，有没有更好、更健壮的方法可以用来复制数据？我可以为此使用MLCP还是使用spawn模块在任务服务器上运行它并完成这项工作？我正在AWS上托管的ML-8上运行

任何建议都会大有帮助

问候 Amit

我将使用它来简化xdmp:save（）命令，因为s3://是一个内置的文件系统。任何使用MLCP的解决方案都会遭受更多的数据传输，我不确定其价值，除非您还需要存档（如果您希望保留属性、权限、集合等，这是一个有效点）

其次，我从未这样做过，但我知道可以使用S3作为森林的位置。在这种情况下，您可以将某些文档平衡到位于S3上的林中。

我将使用xdmp:save（）命令，因为S3://是一个内置的文件系统。任何使用MLCP的解决方案都会遭受更多的数据传输，我不确定其价值，除非您还需要存档（如果您希望保留属性、权限、集合等，这是一个有效点）

---

其次，我从未这样做过，但我知道可以使用S3作为森林的位置。在这种情况下，您可以将某些文档平衡到位于S3上的林。

使用REST API从MarkLogic检索文档，并将输出通过管道传输到aws命令以上载到aws S3存储桶：

curl --anyauth --user user:password -X GET -H "Content-type: application/xml" http://localhost:8052/LATEST/documents?uri=/docs/test.xml | aws s3 cp - s3://yourbucket/test.xml

---

使用REST API从MarkLogic检索文档，并将输出通过管道传输到aws命令以上载到aws S3 bucket：

curl --anyauth --user user:password -X GET -H "Content-type: application/xml" http://localhost:8052/LATEST/documents?uri=/docs/test.xml | aws s3 cp - s3://yourbucket/test.xml

---

我使用mlcp导出进行更改，它与收集过滤器配合得很好，为我实现了这一点。我还没有尝试过CORB2，但如果时间允许，我也会尝试一下

---

mlcp导出-host{host}-port{port}-username{username}-password{password}-output_file{path{S3 path}-collection_filter{collection name to moved}

我使用mlcp导出进行更改，它与集合过滤器配合得很好，为我完成了这个技巧。我还没有尝试过CORB2，但如果时间允许，我也会尝试一下

---

mlcp导出-主机{host}-端口{port}-用户名{username}-密码{password}-输出{u文件{S3路径}-集合{u过滤器{要移动的集合名称}

您可以使用备份功能并将目标目录设置为s3://bucket/path

您可以使用备份功能并将目标目录设置为s3://bucket/path

参见类似问题参见类似问题