Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/loops/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark spark submit:工人不会被分配到主控_Apache Spark_Spark Streaming - Fatal编程技术网

Apache spark spark submit:工人不会被分配到主控

Apache spark spark submit:工人不会被分配到主控,apache-spark,spark-streaming,Apache Spark,Spark Streaming,我尝试在单个虚拟机上以独立模式运行带有spark submit的spark streaming应用程序,但并没有将worker分配给驱动程序 我一直收到这样的警告: “初始作业未接受任何资源;请检查群集UI以确保工作人员已注册并且有足够的资源” 但问题是没有其他应用程序在运行,而且内存充足,所以资源不是问题。当我查看Spark UI时,我看到应用程序正在运行,但它处于“等待”状态 我还收到了以下两条警告: 主机名、主机名解析为环回地址 & “如果需要绑定到其他地址,请设置SPARK_LOCAL_

我尝试在单个虚拟机上以独立模式运行带有spark submit的spark streaming应用程序,但并没有将worker分配给驱动程序

我一直收到这样的警告: “初始作业未接受任何资源;请检查群集UI以确保工作人员已注册并且有足够的资源”

但问题是没有其他应用程序在运行,而且内存充足,所以资源不是问题。当我查看Spark UI时,我看到应用程序正在运行,但它处于“等待”状态

我还收到了以下两条警告: 主机名、主机名解析为环回地址 & “如果需要绑定到其他地址,请设置SPARK_LOCAL_IP”

我曾尝试修改spark/conf/slaves,并将IP地址改为主机名,但仍然没有解决方案


请帮忙。

正如错误消息所说,您可能没有启动该机器上的工作程序。 启动主进程后,必须启动将分配给先前启动的主进程的辅助进程

启动这两个进程后,请检查web ui,最有可能是在
http://:8080
处,您应该能够看到分配了1个工作进程的主进程


如果一切正常,您应该能够向主机提交作业。

您应该发布您发出的整个命令。你是以本地人、纱线客户、纱线师傅还是?它处于独立模式,没有群集管理器。您是否查看了spark UI以确保您的工作人员正确连接到您的主机?他们没有连接到主机,这就是问题所在!以下是我得到的警告:WARN Utils:Your hostname,datacenter dev解析为环回地址:127.0.1.1;改为使用10.0.2.15(在界面eth0上)16/03/11 14:09:23警告Utils:如果需要绑定到其他地址,请设置SPARK\u LOCAL\u IP您是否在amazon AWS上使用它?您的ACL/iptables配置可能会阻止执行器连接到主机。