Apache spark pyspark兼容2.4.4版的hadoop aws和aws adk

在maven的这两个库的帮助下，我正在尝试使用pyspark从s3存储桶读写，这两个库非常古老。我尝试了hadoop aws和aws java SDK的不同组合，但pyspark版本2.4.4不起作用。有人知道哪些版本的Hadoop和java SDK与spark版本2.4.4兼容吗

我正在使用以下命令：

Spark: 2.4.4
Hadoop: 2.7.3
Haddop-AWS: hadoop-aws-2.7.3.jar
AWS-JAVA-SDK: aws-java-sdk-1.7.3.jar
Scala: 2.11

适用于我并使用

s3a://bucket name/

（注意：对于PySPark，我使用了

aws-java-sdk-1.7.4.jar

），因为我无法使用

df.write.csv(path=path, mode="overwrite", compression="None")

---

我使用的是相同版本的jar文件，但它们非常旧。我在考虑更新的版本