Apache spark Spark流检查点引发S3异常
我正在使用eu-central-1区域的S3存储桶作为spark流媒体作业的检查点目录 它会将数据写入该目录，但每10批都会失败，出现以下异常：Apache spark Spark流检查点引发S3异常,apache-spark,amazon-s3,spark-streaming,Apache Spark,Amazon S3,Spark Streaming,我正在使用eu-central-1区域的S3存储桶作为spark流媒体作业的检查点目录 它会将数据写入该目录，但每10批都会失败，出现以下异常： org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 4040.0 failed 4 times, most recent failure: Lost task 0.3 in stage 4040.0 (TID 0, 127.0.0.1, e
org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 4040.0 failed 4 times, most recent failure: Lost task 0.3 in stage 4040.0 (TID 0, 127.0.0.1, executor 0): com.amazonaws.services.s3.model.AmazonS3Exception: Status Code: 400, AWS Service: Amazon S3, AWS Request ID: ..., AWS Error Code: null, AWS Error Message: Bad Request
发生这种情况时，批处理数据将丢失。如何解决此行为？它最终成为eu-central-1中bucket的身份验证异常，因为S3区域使用V4身份验证
它是在驱动程序本身上配置的，而不是在工作程序上配置的，这就是为什么有些工作，有些不工作的原因。它最终成为eu-central-1中bucket的身份验证异常，因为S3区域使用V4身份验证 它是在驱动程序本身上配置的，而不是在工作程序上配置的，所以这就是为什么有些工作，有些不工作的原因