Php 大型数据库索引弹性搜索
我正在尝试使用elasticsearch为一个拥有100多万篇文章的数据库编制索引。我遇到的问题是,由于索引崩溃的数据量太大 是否有可能在部分中进行索引,或者这是不应该崩溃的东西,而我只是做错了什么 我用的是Elastica() ----编辑---- 忘记添加一些错误,这是我得到的,之后什么也没有发生Php 大型数据库索引弹性搜索,php,
elasticsearch,elastica,Php,
elasticsearch,Elastica,我正在尝试使用elasticsearch为一个拥有100多万篇文章的数据库编制索引。我遇到的问题是,由于索引崩溃的数据量太大 是否有可能在部分中进行索引,或者这是不应该崩溃的东西,而我只是做错了什么 我用的是Elastica() ----编辑---- 忘记添加一些错误,这是我得到的,之后什么也没有发生 Caused by: org.apache.lucene.queryparser.classic.ParseException: Encountered "<EOF>" at line
Caused by: org.apache.lucene.queryparser.classic.ParseException: Encountered "<EOF>" at line 1, column 5.
Was expecting one of:
<BAREOPER> ...
"(" ...
"*" ...
<QUOTED> ...
<TERM> ...
<PREFIXTERM> ...
<WILDTERM> ...
<REGEXPTERM> ...
"[" ...
"{" ...
<NUMBER> ...
at org.apache.lucene.queryparser.classic.QueryParser.generateParseException(QueryParser.java:708)
at org.apache.lucene.queryparser.classic.QueryParser.jj_consume_token(QueryParser.java:590)
at org.apache.lucene.queryparser.classic.QueryParser.Clause(QueryParser.java:275)
at org.apache.lucene.queryparser.classic.QueryParser.Query(QueryParser.java:181)
at org.apache.lucene.queryparser.classic.QueryParser.TopLevelQuery(QueryParser.java:170)
at org.apache.lucene.queryparser.classic.QueryParserBase.parse(QueryParserBase.java:121)
... 18 more
原因:org.apache.lucene.queryparser.classic.ParseException:在第1行第5列遇到“”。
我期待的是:
...
"(" ...
"*" ...
...
...
...
...
...
"[" ...
"{" ...
...
位于org.apache.lucene.queryparser.classic.queryparser.generateParseException(queryparser.java:708)
位于org.apache.lucene.queryparser.classic.queryparser.jj_消费_令牌(queryparser.java:590)
位于org.apache.lucene.queryparser.classic.queryparser.子句(queryparser.java:275)
位于org.apache.lucene.queryparser.classic.queryparser.Query(queryparser.java:181)
位于org.apache.lucene.queryparser.classic.queryparser.TopLevelQuery(queryparser.java:170)
位于org.apache.lucene.queryparser.classic.QueryParserBase.parse(QueryParserBase.java:121)
…还有18个
好的,我发现了我的错误,问题是我加载了太多数据以加快速度
只需添加一个
sleep(1);
就解决了问题它是如何崩溃的?有错误吗?您验证了日志吗?请添加有关“崩溃”的详细信息。就像这样,它可能是从客户端运行时间不足到磁盘空间或计算机内存不足。错误听起来像是未捕获套接字超时,导致不完整的http调用,无论如何,希望您使用批量索引!感谢此响应,自此以来,我已重建了3次代码,现在我有了一种工作方式,是的,我使用批量,但谢谢提示=)