Amazon web services 无法执行HTTP请求：远程主机在Glue中终止了握手Spark Scala

我使用hadoop文件系统读取S3存储桶中的大量文件名和路径：

import org.apache.hadoop.fs.FileSystem
import org.apache.hadoop.fs.Path
import org.apache.hadoop.conf.Configuration

我正在Spark Scala中运行粘合作业，但我收到此错误，我的代码在使用小数据集进行尝试时有效，但对于大数据集，它在运行1小时后返回错误：

Caused by: com.amazon.ws.emr.hadoop.fs.shaded.com.amazonaws.SdkClientException: Unable to execute HTTP request: Remote host terminated the handshake`

Caused by: javax.net.ssl.SSLHandshakeException: Remote host terminated the handshake
at sun.security.ssl.SSLSocketImpl.handleEOF(SSLSocketImpl.java:1310)
at sun.security.ssl.SSLSocketImpl.decode(SSLSocketImpl.java:1151)
at sun.security.ssl.SSLSocketImpl.readHandshakeRecord(SSLSocketImpl.java:1054

Caused by: java.io.EOFException: SSL peer shut down incorrectly
at sun.security.ssl.SSLSocketInputRecord.decode(SSLSocketInputRecord.java:167)

---

看起来像是网络容量问题。但是它从S3文件读取，使用胶水获取文件名，然后保存输出到另一个S3存储桶？它是AWS内的网络容量？