Solr 4.7.2,能够导入大型XML,在使用FileListenityProcessor导入时出现问题
我能够使用数据导入处理程序导入一个大的XML文件,然后按照solr wiki上给出的说明,尝试使用FileListenityProcessor导入多个文件。 问题是,它正在解析完整的文件(所花费的时间与单个文件导入相同;并且目录中只有一个*.xml文件),没有显示任何错误,并且显示成功消息。但不创建索引(如果我进行搜索,则不显示结果)。 我猜xpath等出现了一些问题,所以我检查了一下。 任何线索/解决办法都会对我有帮助 提前谢谢 数据配置xmlSolr 4.7.2,能够导入大型XML,在使用FileListenityProcessor导入时出现问题,xml,solr,dataimporthandler,Xml,Solr,Dataimporthandler,我能够使用数据导入处理程序导入一个大的XML文件,然后按照solr wiki上给出的说明,尝试使用FileListenityProcessor导入多个文件。 问题是,它正在解析完整的文件(所花费的时间与单个文件导入相同;并且目录中只有一个*.xml文件),没有显示任何错误,并且显示成功消息。但不创建索引(如果我进行搜索,则不显示结果)。 我猜xpath等出现了一些问题,所以我检查了一下。 任何线索/解决办法都会对我有帮助 提前谢谢 数据配置xml <dataConfig> &
<dataConfig>
<dataSource type="FileDataSource" encoding="UTF-8" />
<document>
<entity
name="pickupdir"
processor="FileListEntityProcessor"
rootEntity="false"
dataSource="null"
fileName="^.*\.xml$"
baseDir="/media/200GB"
recursive="false"
>
<entity
name="page"
processor="XPathEntityProcessor"
transformer="DateFormatTransformer,TemplateTransformer,RegexTransformer,LogTransformer"
url="${pickupdir.fileAbsolutePath}"
forEach="/rootnode/page/" >
<field column="id" xpath="/rootnode/page/id" />
<field column="title" xpath="/rootnode/page/title" />
<field column="revision" xpath="/rootnode/page/revision/id" />
<field column="user" xpath="/rootnode/page/revision/contributor/username" />
<field column="userId" xpath="/rootnode/page/revision/contributor/id" />
<field column="text" xpath="/rootnode/page/revision/text" />
<field column="timestamp" xpath="/rootnode/page/revision/timestamp" dateTimeFormat="yyyy-MM-dd'T'hh:mm:ss'Z'" />
<field column="$skipDoc" regex="^#REDIRECT .*" replaceWith="true" sourceColName="text"/>
</entity>
</entity>
</document>
</dataConfig>
请提供一些有助于解释您的问题的示例代码。当然,刚刚发布了数据配置xml。使用的机器是4GB RAM双核处理器,文件大小为50+GB。同样的配置在16GB RAM系统上工作。谢谢