Apache spark 我可以将es.batch.write.retry.count设置为零值吗

我只想停止spark作业，如果在向ES写入数据时发生任何异常。 有一个配置es.batch.write.retry.count的默认值为3。

---

我们可以设置es.batch.write.retry.count=0，这样如果按照我的要求出现故障，spark数据帧写入将停止在es？es.batch.write.retry.count的配置只需处理在放弃并移动到下一批之前，每个批尝试写入弹性的时间，它不会影响你的工作。 您可以做的变通方法是将spark.task.maxFailures设置为1，但它将影响您的整个作业，而不仅仅是写入elasticsearch

您应该注意到，由于向elastic写入数据不是事务性的，因此，如果向elastic写入数据的任务失败，并不意味着您的某些数据已经写入elastic

我不知道您的用例是什么，但是如果您想确保所有数据都写入elasticsearch，您应该进行_count查询，并在写入后检查它是否等于df.count（）（假设您正在写入新索引）