避免在数据导入时从solr中删除文档
我试图在Solr中增加3亿张唱片,但发生了一些错误 2亿Solr后开始从文档中删除 当我从Oracle向Solr添加2亿条记录时,一切都很好 如下图所示 最大文档数=215077886 文件数量:2009747 已删除文件:14098139 为什么Solr删除14098139我尝试了很多次,但都得到了相同的结果 所以我的问题是有一个避免删除的配置,我不知道它 此链接中的所有配置文件: 我的服务器ram32g 高清:2千兆瓦 编辑 我解决了这个问题,我发现了重复的单键避免在数据导入时从solr中删除文档,solr,dataimporthandler,Solr,Dataimporthandler,我试图在Solr中增加3亿张唱片,但发生了一些错误 2亿Solr后开始从文档中删除 当我从Oracle向Solr添加2亿条记录时,一切都很好 如下图所示 最大文档数=215077886 文件数量:2009747 已删除文件:14098139 为什么Solr删除14098139我尝试了很多次,但都得到了相同的结果 所以我的问题是有一个避免删除的配置,我不知道它 此链接中的所有配置文件: 我的服务器ram32g 高清:2千兆瓦 编辑 我解决了这个问题,我发现了重复的单键 通常,这些问题是由重复的u
通常,这些问题是由重复的uniquekey引起的,因为完整导入过程本身不会删除文档,所以您可以要求它清除索引,但这是一个明确的请求,或者使用单独的delete查询来删除作为delta查询一部分删除的条目
确保实际使用的文档对于设置为uniqueKey列的列是唯一的。如果以后导入的文档与以前的文档具有相同的uniqueKey,则新文档将覆盖旧文档,即添加和删除,从而导致“已删除”列中的计数。是否确实由于uniqueKey重复或类似情况而删除文档而不覆盖文档?Solr日志是否说明导入过程内存不足,没有进一步索引?你有没有试过分批导入?谢谢,我在重复的uniquekey中发现了问题,现在一切都好了