Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/solr/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
避免在数据导入时从solr中删除文档_Solr_Dataimporthandler - Fatal编程技术网

避免在数据导入时从solr中删除文档

避免在数据导入时从solr中删除文档,solr,dataimporthandler,Solr,Dataimporthandler,我试图在Solr中增加3亿张唱片,但发生了一些错误 2亿Solr后开始从文档中删除 当我从Oracle向Solr添加2亿条记录时,一切都很好 如下图所示 最大文档数=215077886 文件数量:2009747 已删除文件:14098139 为什么Solr删除14098139我尝试了很多次,但都得到了相同的结果 所以我的问题是有一个避免删除的配置,我不知道它 此链接中的所有配置文件: 我的服务器ram32g 高清:2千兆瓦 编辑 我解决了这个问题,我发现了重复的单键 通常,这些问题是由重复的u

我试图在Solr中增加3亿张唱片,但发生了一些错误

2亿Solr后开始从文档中删除

当我从Oracle向Solr添加2亿条记录时,一切都很好

如下图所示

最大文档数=215077886

文件数量:2009747

已删除文件:14098139

为什么Solr删除14098139我尝试了很多次,但都得到了相同的结果

所以我的问题是有一个避免删除的配置,我不知道它

此链接中的所有配置文件:

我的服务器ram32g

高清:2千兆瓦

编辑

我解决了这个问题,我发现了重复的单键


通常,这些问题是由重复的uniquekey引起的,因为完整导入过程本身不会删除文档,所以您可以要求它清除索引,但这是一个明确的请求,或者使用单独的delete查询来删除作为delta查询一部分删除的条目


确保实际使用的文档对于设置为uniqueKey列的列是唯一的。如果以后导入的文档与以前的文档具有相同的uniqueKey,则新文档将覆盖旧文档,即添加和删除,从而导致“已删除”列中的计数。

是否确实由于uniqueKey重复或类似情况而删除文档而不覆盖文档?Solr日志是否说明导入过程内存不足,没有进一步索引?你有没有试过分批导入?谢谢,我在重复的uniquekey中发现了问题,现在一切都好了