Apache spark Spark从属工作进程无法绑定到主进程上的驱动程序

我有一个DSE集群，有3台机器：1、2和3

当我向船长提交申请时，如果我理解清楚的话，情况是这样的：

• Master接收应用程序并分配资源
• 驱动程序开始运行到分配的工作进程
• 驱动程序在集群的其他节点上运行执行器以共享工作负载

所以我们在这个集群中有这样的配置：

• 1是主人，有工人1
• 2是奴隶，工作过2次
• 三是奴隶，三是工人

当Spark选择worker 1（master）作为驱动程序时，一切运行正常。 但是，当Spark决定将辅助进程2（从）或辅助进程3（从）分配给驱动程序时，它会尝试绑定主进程的ip，但每次都失败：

INFO  16:20:45  Changing view acls to: cassandra
INFO  16:20:45  Changing modify acls to: cassandra
INFO  16:20:45  SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(cassandra); users with modify permissions: Set(cassandra)
INFO  16:20:45  Slf4jLogger started
ERROR 16:20:46  failed to bind to /10.1.1.1:0, shutting down Netty transport
WARN  16:20:46  Service 'Driver' could not bind on port 0. Attempting port 1.
INFO  16:20:46  Slf4jLogger started
ERROR 16:20:46  failed to bind to /10.1.1.1:0, shutting down Netty transport
WARN  16:20:46  Service 'Driver' could not bind on port 0. Attempting port 1.

每个节点的配置都非常简单：

export SPARK_LOCAL_IP="10.1.1.1" // or .2 or .3
export SPARK_PUBLIC_DNS="xx.xx.xx.xx"
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_WEBUI_PORT=7080
export SPARK_DRIVER_HOST="10.1.1.1" // or .2 or .3
export SPARK_WORKER_INSTANCES=1
export SPARK_DRIVER_MEMORY="10G"

我试图在spark-defaults.conf中设置spark.driver.port，但没有效果

以下是提交电话：

/usr/bin/dse spark-submit --properties-file production.conf --master spark://10.1.1.1:7077 --deploy-mode cluster --class "com.company.SignalIO" aggregation.jar 2015-6-1-00:00:00 2015-6-2-00:00:00 signal_table

---

有什么想法吗？

你的spark submit调用在cron中是什么样子的？添加了spark submit调用！你的spark submit调用在cron中是什么样子的？添加了spark submit调用！