elasticsearch,Python,Pandas,elasticsearch" /> elasticsearch,Python,Pandas,elasticsearch" />

如何处理弹性搜索python客户端中的传输错误?

如何处理弹性搜索python客户端中的传输错误?,python,pandas,elasticsearch,Python,Pandas,elasticsearch,我正在将pandas数据帧上传到elastic(使用elasticsearch==6.3.1),如果数据帧大小小于100MB,它工作正常,我将使用 这工作得很完美,但对于超过100MB的数据帧,它会引发传输错误 raise HTTP_EXCEPTIONS.get(status_code, TransportError)(status_code, error_message, additional_info) TransportError: TransportError(413, '') 如何处

我正在将pandas数据帧上传到elastic(使用elasticsearch==6.3.1),如果数据帧大小小于100MB,它工作正常,我将使用

这工作得很完美,但对于超过100MB的数据帧,它会引发传输错误

raise HTTP_EXCEPTIONS.get(status_code, TransportError)(status_code, error_message, additional_info)
TransportError: TransportError(413, '')
如何处理? 我尝试在elasticsearch.yml文件中设置http.max_content_length:350mb,但仍然出现错误


还有一个问题是如何将时间戳字段与上述功能一起添加?

您可以成批发送或使用并行批量发送,例如:

from elasticsearch import helpers
results = list(helpers.parallel_bulk(e, generator_fn() , thread_count=2, chunk_size=400, request_timeout=1000, raise_on_error=False))

您可以成批发送,也可以使用并行批量发送,例如:

from elasticsearch import helpers
results = list(helpers.parallel_bulk(e, generator_fn() , thread_count=2, chunk_size=400, request_timeout=1000, raise_on_error=False))

您应该分几批发送数据帧您应该分几批发送数据帧