如何处理弹性搜索python客户端中的传输错误?
我正在将pandas数据帧上传到elastic(使用elasticsearch==6.3.1),如果数据帧大小小于100MB,它工作正常,我将使用 这工作得很完美,但对于超过100MB的数据帧,它会引发传输错误如何处理弹性搜索python客户端中的传输错误?,python,pandas,
elasticsearch,Python,Pandas,
elasticsearch,我正在将pandas数据帧上传到elastic(使用elasticsearch==6.3.1),如果数据帧大小小于100MB,它工作正常,我将使用 这工作得很完美,但对于超过100MB的数据帧,它会引发传输错误 raise HTTP_EXCEPTIONS.get(status_code, TransportError)(status_code, error_message, additional_info) TransportError: TransportError(413, '') 如何处
raise HTTP_EXCEPTIONS.get(status_code, TransportError)(status_code, error_message, additional_info)
TransportError: TransportError(413, '')
如何处理?
我尝试在elasticsearch.yml文件中设置http.max_content_length:350mb,但仍然出现错误
还有一个问题是如何将时间戳字段与上述功能一起添加?您可以成批发送或使用并行批量发送,例如:
from elasticsearch import helpers
results = list(helpers.parallel_bulk(e, generator_fn() , thread_count=2, chunk_size=400, request_timeout=1000, raise_on_error=False))
您可以成批发送,也可以使用并行批量发送,例如:
from elasticsearch import helpers
results = list(helpers.parallel_bulk(e, generator_fn() , thread_count=2, chunk_size=400, request_timeout=1000, raise_on_error=False))
您应该分几批发送数据帧您应该分几批发送数据帧