Marklogic 编校超时的MLCP Copy命令

使用的ML版本：9.0-10.4

在大数据集（39753201个文档）上运行MLCP COPY命令。运行命令时，出现以下错误

2020-07-29 20:38:09 WARN  NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2020-07-29 20:38:09 INFO  ContentPump:227 - Job name: local_1071163736_1
2020-07-29 20:38:10 INFO  MarkLogicInputFormat:420 - Fetched 6 forest splits.
2020-07-29 20:38:10 INFO  MarkLogicInputFormat:551 - Made 39757 split(s).
2020-07-29 20:38:11 INFO  LocalJobRunner:519 -  completed 0%
2020-07-29 20:48:10 ERROR DatabaseContentReader:286 - QueryException:com.marklogic.xcc.exceptions.XQueryException: XDMP-EXTIME: for $doc in $documents -- Time limit exceeded
 [Session: user=admin, cb=#17742233824102065206 [ContentSource: user=admin, cb=cndb [provider: address=localhost/127.0.0.1:8000, pool=0/64]]]
 [Client: XCC/9.0-10, Server: XDBC/9.0-10.4]
in /MarkLogic/redaction.xqy, on line 78
expr: for $doc in $documents,
in rdt:redact((fn:doc("doc-1.xml"), fn:doc("doc-2.xml"), fn:doc("doc-3.xml"), ...), ("numeric-rules", "rule-2", "binary-rules", ...))
in /eval, on line 9
expr: for $doc in $documents

使用的拆分参数：

max_split_size = 1000
 thread_count = 12

不确定为什么会出现超时错误。在qconsole中对2000个文档运行编校时，只需10-15秒的时间

---

修改了上面的错误日志以隐藏敏感信息（如doc-1.xml）

一些文档是否超大？对2000个文档的测试进行得很快，但可能那个巨大语料库中的一些文档比您的测试文档大几个数量级？没有文档不是超大的

max\u split\u size=1000

这是否意味着在线程中拾取的最大文档数为1000？？我在redaction.xqy（redact函数下）中放了一个日志，$documents的总数是6625576（似乎是在一个线程中处理这么多文档），上面所有线程都出现了错误。在与mlcp和redaction相关的MarkLogic的最新版本中修复了一个bug。你能升级到mlcp 9.0-12并试一试吗？目前这对我们来说有点困难？在我使用queryfilter的COPY命令中，在删除queryfilter时，$documents计数为1000。不确定为什么query\u filter会导致问题（query filter参数是

cts:Not query（cts:coltoin query（（'col-1'，'col-2'）））

）我可能是错的，但听起来您遇到了这个问题：它在mlcp的9.0-12版本中得到了修复。我相信您可以在当前版本的服务器上使用该版本的mlcp来测试它。您是否与MarkLogic签订了有效的支持合同？如果是的话，我建议在那里开一张票。