Apache spark 超光速子上的火花（alluxio）。框架尺寸（273247862）大于最大长度（16777216）
我按照指南在Alluxio上部署spark。当我尝试从alluxio加载数据以运行rdd操作时 val ccc=sc.textFile（“alluxio://localhost:19998/findbugs.xml”）Apache spark 超光速子上的火花（alluxio）。框架尺寸（273247862）大于最大长度（16777216）,apache-spark,thrift,alluxio,Apache Spark,Thrift,Alluxio,我按照指南在Alluxio上部署spark。当我尝试从alluxio加载数据以运行rdd操作时 val ccc=sc.textFile（“alluxio://localhost:19998/findbugs.xml”） 计数 错误如下所示： 16/07/24 23:27:16 INFO logger.type: getFileStatus(alluxio://localhost:19998/findbugs.xml) 16/07/24 23:27:16 ERROR logger.type: Fr
计数 错误如下所示：
16/07/24 23:27:16 INFO logger.type: getFileStatus(alluxio://localhost:19998/findbugs.xml)
16/07/24 23:27:16 ERROR logger.type: Frame size (273247862) larger than max length (16777216)!
alluxio.org.apache.thrift.transport.TTransportException: Frame size (273247862) larger than max length (16777216)!
at alluxio.org.apache.thrift.transport.TFramedTransport.readFrame(TFramedTransport.java:137)
at alluxio.org.apache.thrift.transport.TFramedTransport.read(TFramedTransport.java:101)
at alluxio.org.apache.thrift.transport.TTransport.readAll(TTransport.java:86)
这个问题困扰了我这么长时间。此错误的典型原因是使用不正确的端口连接到Alluxio主机。默认端口为19998。您可以尝试重新启动spark shell并连接到正确的端口 此错误的另一个可能原因是客户端和主机具有不同的安全设置。客户端和主机上的身份验证类型（配置参数alluxio.security.authentication.type）应匹配。以下是有关配置参数的信息：请检查它是否有帮助！