Python 2.7 ApacheSpark:处理来自S3的大量数据时超时异常

当我从S3读取数据并在ApacheSpark中处理数据时，我收到一个超时异常。错误如下：

Lost task 5.0 in stage 0.0 (TID 5, prbatchs0004apse01.in.bsbportal.com): java.net.SocketTimeoutException: Read timed out
at java.net.SocketInputStream.socketRead0(Native Method)
at java.net.SocketInputStream.read(SocketInputStream.java:152)
at java.net.SocketInputStream.read(SocketInputStream.java:122)
at sun.security.ssl.InputRecord.readFully(InputRecord.java:442)
at sun.security.ssl.InputRecord.readV3Record(InputRecord.java:554)
at sun.security.ssl.InputRecord.read(InputRecord.java:509)
at sun.security.ssl.SSLSocketImpl.readRecord(SSLSocketImpl.java:934)
at sun.security.ssl.SSLSocketImpl.readDataRecord(SSLSocketImpl.java:891)
at sun.security.ssl.AppInputStream.read(AppInputStream.java:102)
at org.apache.http.impl.io.AbstractSessionInputBuffer.read(AbstractSessionInputBuffer.java:198)
at org.apache.http.impl.io.ContentLengthInputStream.read(ContentLengthInputStream.java:178)
at org.apache.http.impl.io.ContentLengthInputStream.read(ContentLengthInputStream.java:200)
at org.apache.http.impl.io.ContentLengthInputStream.close(ContentLengthInputStream.java:103)
at org.apache.http.conn.BasicManagedEntity.streamClosed(BasicManagedEntity.java:164)
at org.apache.http.conn.EofSensorInputStream.checkClose(EofSensorInputStream.java:227)
at org.apache.http.conn.EofSensorInputStream.close(EofSensorInputStream.java:174)
at org.apache.http.util.EntityUtils.consume(EntityUtils.java:88)
at org.jets3t.service.impl.rest.httpclient.HttpMethodReleaseInputStream.releaseConnection(HttpMethodReleaseInputStream.java:102)
at org.jets3t.service.impl.rest.httpclient.HttpMethodReleaseInputStream.close(HttpMethodReleaseInputStream.java:194)
at org.apache.hadoop.fs.s3native.NativeS3FileSystem$NativeS3FsInputStream.seek(NativeS3FileSystem.java:152)
at org.apache.hadoop.fs.BufferedFSInputStream.seek(BufferedFSInputStream.java:89)
at org.apache.hadoop.fs.FSDataInputStream.seek(FSDataInputStream.java:63)
at org.apache.hadoop.mapred.LineRecordReader.<init>(LineRecordReader.java:126)

在阶段0.0中丢失任务5.0（TID 5，prbatchs0004apse01.in.bsbportal.com）：java.net.SocketTimeoutException:读取超时
位于java.net.SocketInputStream.socketRead0（本机方法）
位于java.net.SocketInputStream.read（SocketInputStream.java:152）
位于java.net.SocketInputStream.read（SocketInputStream.java:122）
位于sun.security.ssl.InputRecord.readFully（InputRecord.java:442）
位于sun.security.ssl.InputRecord.readV3Record（InputRecord.java:554）
位于sun.security.ssl.InputRecord.read（InputRecord.java:509）
位于sun.security.ssl.SSLSocketImpl.readRecord（SSLSocketImpl.java:934）
位于sun.security.ssl.SSLSocketImpl.readDataRecord（SSLSocketImpl.java:891）
位于sun.security.ssl.AppInputStream.read（AppInputStream.java:102）
位于org.apache.http.impl.io.AbstractSessionInputBuffer.read（AbstractSessionInputBuffer.java:198）
位于org.apache.http.impl.io.ContentLengthinInputStream.read（contentLengthinInputStream.java:178）
位于org.apache.http.impl.io.ContentLengthinInputStream.read（contentLengthinInputStream.java:200）
位于org.apache.http.impl.io.ContentLengthinInputStream.close（contentLengthinInputStream.java:103）
位于org.apache.http.conn.BasicManagedEntity.streamClosed（BasicManagedEntity.java:164）
位于org.apache.http.conn.EofSensorInputStream.checkClose（EofSensorInputStream.java:227）
位于org.apache.http.conn.EofSensorInputStream.close（EofSensorInputStream.java:174）
位于org.apache.http.util.EntityUtils.consume（EntityUtils.java:88）
位于org.jets3t.service.impl.rest.httpclient.httpmethodreleaseeinputstream.releaseConnection（httpmethodreleaseeinputstream.java:102）
位于org.jets3t.service.impl.rest.httpclient.httpmethodreleaseeinputstream.close（httpmethodreleaseeinputstream.java:194）
位于org.apache.hadoop.fs.s3native.NativeS3FileSystem$NativeS3FsInputStream.seek（NativeS3FileSystem.java:152）
位于org.apache.hadoop.fs.BufferedFSInputStream.seek（BufferedFSInputStream.java:89）
位于org.apache.hadoop.fs.FSDataInputStream.seek（FSDataInputStream.java:63）
位于org.apache.hadoop.mapred.LineRecordReader。（LineRecordReader.java:126）

有人能帮我吗？

试试这个

##solve downloading data timeout problem
System.setProperty("sun.net.client.defaultReadTimeout", "30000")

---

你找到解决办法了吗？