例外情况：org.apache.hadoop.ipc.RpcException:RPC响应超过最大数据长度“；来自java

我正在尝试从运行在我的桌面Eclipse中的Java程序连接到远程HDFS。我可以连接。但在尝试读取数据时出现此异常：

原因：org.apache.hadoop.ipc.RpcException:RPC响应超过最大数据量

有人能帮忙吗

我有一个读取测试数据的非常基本的代码

以下是完全例外：

java.io.IOException: Failed on local exception: org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data length; 
at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:785)
at org.apache.hadoop.ipc.Client.getRpcResponse(Client.java:1485)
at org.apache.hadoop.ipc.Client.call(Client.java:1427)
at org.apache.hadoop.ipc.Client.call(Client.java:1337)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:227)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:116)
at com.sun.proxy.$Proxy10.getBlockLocations(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getBlockLocations(ClientNamenodeProtocolTranslatorPB.java:255)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:398)
at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeMethod(RetryInvocationHandler.java:163)
at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invoke(RetryInvocationHandler.java:155)
at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeOnce(RetryInvocationHandler.java:95)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:335)
at com.sun.proxy.$Proxy11.getBlockLocations(Unknown Source)
at org.apache.hadoop.hdfs.DFSClient.callGetBlockLocations(DFSClient.java:826)
at org.apache.hadoop.hdfs.DFSClient.getLocatedBlocks(DFSClient.java:815)
at org.apache.hadoop.hdfs.DFSClient.getLocatedBlocks(DFSClient.java:804)
at org.apache.hadoop.hdfs.DFSInputStream.fetchLocatedBlocksAndGetLastBlockLength(DFSInputStream.java:319)
at org.apache.hadoop.hdfs.DFSInputStream.openInfo(DFSInputStream.java:281)
at org.apache.hadoop.hdfs.DFSInputStream.<init>(DFSInputStream.java:270)
at org.apache.hadoop.hdfs.DFSClient.open(DFSClient.java:1115)
at org.apache.hadoop.hdfs.DistributedFileSystem$4.doCall(DistributedFileSystem.java:325)
at org.apache.hadoop.hdfs.DistributedFileSystem$4.doCall(DistributedFileSystem.java:321)
at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
at org.apache.hadoop.hdfs.DistributedFileSystem.open(DistributedFileSystem.java:333)
at org.apache.hadoop.fs.FileSystem.open(FileSystem.java:786)
at DataUtil.readData(DataUtil.java:29)
at main(Main.java:24)
Caused by: org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data length
at org.apache.hadoop.ipc.Client$IpcStreams.readResponse(Client.java:1800)
at org.apache.hadoop.ipc.Client$Connection.receiveRpcResponse(Client.java:1155)
at org.apache.hadoop.ipc.Client$Connection.run(Client.java:1052)

java.io.IOException:本地异常失败：org.apache.hadoop.ipc.rpceexception:RPC响应超过最大数据长度；
位于org.apache.hadoop.net.NetUtils.wrapException（NetUtils.java:785）
位于org.apache.hadoop.ipc.Client.getrpresponse（Client.java:1485）
位于org.apache.hadoop.ipc.Client.call（Client.java:1427）
位于org.apache.hadoop.ipc.Client.call（Client.java:1337）
位于org.apache.hadoop.ipc.protobufrpceengine$Invoker.invoke（protobufrpceengine.java:227）
位于org.apache.hadoop.ipc.protobufrpceengine$Invoker.invoke（protobufrpceengine.java:116）
位于com.sun.proxy.$Proxy10.getBlockLocations（未知源）
位于org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getBlockLocations（ClientNamenodeProtocolTranslatorPB.java:255）
在sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法）处
在sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:57）中
在sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）中
位于java.lang.reflect.Method.invoke（Method.java:606）
位于org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod（RetryInvocationHandler.java:398）
位于org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeMethod（RetryInvocationHandler.java:163）
位于org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invoke（RetryInvocationHandler.java:155）
位于org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeOnce（RetryInvocationHandler.java:95）
位于org.apache.hadoop.io.retry.RetryInvocationHandler.invoke（RetryInvocationHandler.java:335）
位于com.sun.proxy.$Proxy11.getBlockLocations（未知源）
位于org.apache.hadoop.hdfs.DFSClient.callGetBlockLocations（DFSClient.java:826）
位于org.apache.hadoop.hdfs.DFSClient.getLocatedBlocks（DFSClient.java:815）
位于org.apache.hadoop.hdfs.DFSClient.getLocatedBlocks（DFSClient.java:804）
位于org.apache.hadoop.hdfs.DFSInputStream.fetchLocatedBlocksAndGetLastBlockLength（DFSInputStream.java:319）
位于org.apache.hadoop.hdfs.DFSInputStream.openInfo（DFSInputStream.java:281）
位于org.apache.hadoop.hdfs.DFSInputStream。（DFSInputStream.java:270）
位于org.apache.hadoop.hdfs.DFSClient.open（DFSClient.java:1115）
位于org.apache.hadoop.hdfs.DistributedFileSystem$4.doCall（DistributedFileSystem.java:325）
位于org.apache.hadoop.hdfs.DistributedFileSystem$4.doCall（DistributedFileSystem.java:321）
位于org.apache.hadoop.fs.FileSystemLinkResolver.resolve（FileSystemLinkResolver.java:81）
在org.apache.hadoop.hdfs.DistributedFileSystem.open（DistributedFileSystem.java:333）
位于org.apache.hadoop.fs.FileSystem.open（FileSystem.java:786）
在DataUtil.readData（DataUtil.java:29）
at main（main.java:24）
原因：org.apache.hadoop.ipc.RpcException:RPC响应超过最大数据长度
位于org.apache.hadoop.ipc.Client$IpcStreams.readResponse（Client.java:1800）
位于org.apache.hadoop.ipc.Client$Connection.receiveRpcResponse（Client.java:1155）
位于org.apache.hadoop.ipc.Client$Connection.run（Client.java:1052）

尝试以下解决方案： 将此配置添加到hdfs-site.xml

<property>
     <name>ipc.maximum.data.length</name>
     <value>134217728</value>
</property>

ipc.max.data.length
134217728

检查您的核心站点.xml：

<property>
    <name>fs.default.name</name>
    <value>hdfs://host:port</value>
</property>

fs.default.name
hdfs://host:port

此端口可以是9000或8020。

---

确保您在代码或命令中使用的是相同的端口

发生错误的部分周围的一些代码会有所帮助。尝试设置更大的buffSize，看看它是否会改变任何内容，可能是因为您读取的数据比inputstream可以处理的数据大，希望它会有所帮助

<property>
    <name>fs.default.name</name>
    <value>hdfs://host:port</value>
</property>