从marklogic批量导出

从marklogic批量导出,marklogic,Marklogic,我编写了一个xquery,将主文件及其相关文件作为zip文件从Marklogic导出。现在我有一个需要导出大量此类文件的要求。我想到的最明显的方法就是压缩压缩文件。 为了精确地解释,假设有两个文件需要导出A和B,这两个文件中的每一个都可能有一些与之关联的子文件 A有三个子文件,即A1、A2和A3。类似地,B有两个子文件,即B1和B2。所以我的想法是为每个文件及其子文件创建一个zip文件,最后从所有zip文件中创建一个zip文件 Zip-->zip1-->(A,A1,A2,A3)

我编写了一个xquery,将主文件及其相关文件作为zip文件从Marklogic导出。现在我有一个需要导出大量此类文件的要求。我想到的最明显的方法就是压缩压缩文件。 为了精确地解释,假设有两个文件需要导出A和B,这两个文件中的每一个都可能有一些与之关联的子文件 A有三个子文件,即A1、A2和A3。类似地,B有两个子文件,即B1和B2。所以我的想法是为每个文件及其子文件创建一个zip文件,最后从所有zip文件中创建一个zip文件

Zip-->zip1-->(A,A1,A2,A3)
   -->zip2-->(B,B1,B2)

想知道这种方法是否好,或者是否有其他更好的批量出口方法可用

考虑这样一种情况:您不仅批量导出A和B,而且可能导出50万个类似A/B的文件。您将创建50万个zip文件,但也可以将其封装在一个巨大的zip文件中。听起来你应该考虑批量处理文件,并返回多个zip文件,每个文件包含10到1000个文件之间的东西。具体的内存大小取决于系统的内存大小。考虑创建并行运行并创建ZIPFrm的批处理的想法。

拉链中的拉链听起来也太过分了,你也可以使用拉链中的文件夹。但除此之外,它应该是有效的


考虑这样一种情况:您不仅批量导出A和B,而且可能导出50万个类似A/B的文件。您将创建50万个zip文件,但也可以将其封装在一个巨大的zip文件中。听起来你应该考虑批量处理文件,并返回多个zip文件,每个文件包含10到1000个文件之间的东西。具体的内存大小取决于系统的内存大小。考虑创建并行运行并创建ZIPFrm的批处理的想法。

拉链中的拉链听起来也太过分了,你也可以使用拉链中的文件夹。但除此之外,它应该是有效的


我同意嵌套式拉链可能是不必要的。一般来说,就出口而言,没有必要重新设计轮子:看看,我同意嵌套拉链可能是不必要的。一般来说,就导出而言,不需要重新设计轮子:看看,也会发现zip文件或其包含的文件的最大大小为4G。
这可能会阻碍您使用一个大容量zip的想法。

还要意识到,zip文件或其包含的文件的最大大小为4G。 这可能会阻碍你的想法,一个巨大的拉链