Java 在Spark中读取数据时，如何增加protobuf序列化大小以避免InvalidProtocolBufferException.SizeLimitExceped异常？_Java_Hadoop_Apache Spark_Protocol Buffers

Java 在Spark中读取数据时，如何增加protobuf序列化大小以避免InvalidProtocolBufferException.SizeLimitExceped异常？

java hadoop apache-spark protocol-buffers

Java 在Spark中读取数据时，如何增加protobuf序列化大小以避免InvalidProtocolBufferException.SizeLimitExceped异常？,java,hadoop,apache-spark,protocol-buffers,Java,Hadoop,Apache Spark,Protocol Buffers,我正在使用Spark 1.3从HDFS读取protobuf数据流。但是，有些protobuf太大，我得到了一个例外： com.google.protobuf.InvalidProtocolBufferException:协议消息太大。可能是恶意的。使用CodedInputStream.setSizeLimit增加大小限制。位于com.google.protobuf.InvalidProtocolBufferException.SizeLimitExcepedInValidProtocolBuff

我正在使用Spark 1.3从HDFS读取protobuf数据流。但是，有些protobuf太大，我得到了一个例外：

com.google.protobuf.InvalidProtocolBufferException:协议消息太大。可能是恶意的。使用CodedInputStream.setSizeLimit增加大小限制。位于com.google.protobuf.InvalidProtocolBufferException.SizeLimitExcepedInValidProtocolBufferException.java:110

以下是我读取数据的方式：

sc.hadoopConfiguration.setprotobuf.serialization.max.size，268435456//增加此大小没有帮助

val data=sc.newAPIHadoopFileLongWritable，SomeProtobufClass， SequenceFileInputFormat[LongWritable，SomeProtobufClass]