Python 3.x 如何将包含40k行的solr的所有数据提取到csv中?

Python 3.x 如何将包含40k行的solr的所有数据提取到csv中?,python-3.x,solr,Python 3.x,Solr,但只能获取10行或最大限制为100行。如何获取所有行?我使用的是pysolr 3.8.1版使用参数: 您可以使用行参数对查询结果进行分页。这个 参数指定完整文档的最大文档数 Solr应一次性返回到客户端的结果集 默认值为10。也就是说,默认情况下,Solr返回10 一次生成一个文档以响应查询 使用pysolr将附加选项传递给Solr,使用fl以及示例(要包含在响应中的字段列表),因为您可能需要限制此列表以保持适当的响应时间: import pandas as pd import pysolr s

但只能获取10行或最大限制为100行。如何获取所有行?我使用的是pysolr 3.8.1版

使用参数:

您可以使用参数对查询结果进行分页。这个 参数指定完整文档的最大文档数 Solr应一次性返回到客户端的结果集

默认值为10。也就是说,默认情况下,Solr返回10 一次生成一个文档以响应查询

使用pysolr将附加选项传递给Solr,使用
fl
以及示例(要包含在响应中的字段列表),因为您可能需要限制此列表以保持适当的响应时间:

import pandas as pd
import pysolr
solrcon = pysolr.Solr('...', timeout=10)
results = solrcon.search('*:*')
docs = pd.DataFrame(results.docs)
docs

Solr使用分页的概念批量返回结果。Solr中需要传递给Solr以配置需要多少文档以及从何处开始的参数是
start
()。您需要了解如何在正在使用的模块中设置这些参数。如果默认设置了荧光灯,请不要忘记禁用荧光灯。这在导出多行时可节省大量时间:)
results = solrcon.search('*:*', **{
    'rows': 100000,
    'fl': 'id, title, score' 
})