Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 无法将DSE Spark独立主机绑定到公共IP_Apache Spark_Datastax Enterprise - Fatal编程技术网

Apache spark 无法将DSE Spark独立主机绑定到公共IP

Apache spark 无法将DSE Spark独立主机绑定到公共IP,apache-spark,datastax-enterprise,Apache Spark,Datastax Enterprise,我无法在EC2节点的公共IP上绑定独立Spark Master 我已尝试将SPARK_env.sh中的SPARK_MASTER_IP和SPARK_LOCAL_IP设置为公共IP。 我还尝试更改cassandra.yaml中的广播_地址和广播_rpc_地址。 然而,正如一些人所建议的那样,更改rpc_地址会导致 ERROR [main] 2016-01-12 18:27:59,542 DseDaemon.java:358 - Unable to start DSE server. java.lan

我无法在EC2节点的公共IP上绑定独立Spark Master

我已尝试将SPARK_env.sh中的SPARK_MASTER_IP和SPARK_LOCAL_IP设置为公共IP。 我还尝试更改cassandra.yaml中的广播_地址和广播_rpc_地址。 然而,正如一些人所建议的那样,更改rpc_地址会导致

ERROR [main] 2016-01-12 18:27:59,542 DseDaemon.java:358 - Unable to start DSE server.
java.lang.IllegalStateException: Failed to bind port 9042 on 54.183.171.210.
    at org.apache.cassandra.transport.Server.run(Server.java:198) ~[cassandra-all-2.1.11.969.jar:2.1.11.969]
    at org.apache.cassandra.transport.Server.start(Server.java:120) ~[cassandra-all-2.1.11.969.jar:2.1.11.969]
    at org.apache.cassandra.service.CassandraDaemon.start(CassandraDaemon.java:492) [cassandra-all-2.1.11.969.jar:2.1.11.969]
    at com.datastax.bdp.server.DseDaemon.start(DseDaemon.java:353) ~[dse-core-4.8.3.jar:4.8.3]
    at org.apache.cassandra.service.CassandraDaemon.activate(CassandraDaemon.java:575) [cassandra-all-2.1.11.969.jar:2.1.11.969]
    at com.datastax.bdp.DseModule.main(DseModule.java:74) [dse-core-4.8.3.jar:4.8.3]
端口7077当然可以通过公共IP访问,但提交远程机器的作业表单会让akka抱怨丢弃消息,因为它只想接受来自本地IP的请求

ERROR [sparkMaster-akka.actor.default-dispatcher-479] 2016-01-13 02:24:46,337 Slf4jLogger.scala:65 - dropping message [class akka.actor.ActorSelectionMessage] for non-local recipient [Actor[akka.tcp://sparkMaster@54.183.171.210:7077/]] arriving at [akka.tcp://sparkMaster@54.183.171.210:7077] inbound addresses are [akka.tcp://sparkMaster@10.0.14.5:7077]
不知道如何才能拥有一个可公开访问的Spark Master。

在讨论之后,我还尝试更改Spark\u Master\u主机名。它似乎忽略了所有这些环境变量。