Apache spark spark submit:工人不会被分配到主控
我尝试在单个虚拟机上以独立模式运行带有spark submit的spark streaming应用程序,但并没有将worker分配给驱动程序 我一直收到这样的警告: “初始作业未接受任何资源;请检查群集UI以确保工作人员已注册并且有足够的资源” 但问题是没有其他应用程序在运行,而且内存充足,所以资源不是问题。当我查看Spark UI时,我看到应用程序正在运行,但它处于“等待”状态 我还收到了以下两条警告: 主机名、主机名解析为环回地址 & “如果需要绑定到其他地址,请设置SPARK_LOCAL_IP” 我曾尝试修改spark/conf/slaves,并将IP地址改为主机名,但仍然没有解决方案Apache spark spark submit:工人不会被分配到主控,apache-spark,spark-streaming,Apache Spark,Spark Streaming,我尝试在单个虚拟机上以独立模式运行带有spark submit的spark streaming应用程序,但并没有将worker分配给驱动程序 我一直收到这样的警告: “初始作业未接受任何资源;请检查群集UI以确保工作人员已注册并且有足够的资源” 但问题是没有其他应用程序在运行,而且内存充足,所以资源不是问题。当我查看Spark UI时,我看到应用程序正在运行,但它处于“等待”状态 我还收到了以下两条警告: 主机名、主机名解析为环回地址 & “如果需要绑定到其他地址,请设置SPARK_LOCAL_
请帮忙。正如错误消息所说,您可能没有启动该机器上的工作程序。 启动主进程后,必须启动将分配给先前启动的主进程的辅助进程 启动这两个进程后,请检查web ui,最有可能是在
http://:8080
处,您应该能够看到分配了1个工作进程的主进程
如果一切正常,您应该能够向主机提交作业。您应该发布您发出的整个命令。你是以本地人、纱线客户、纱线师傅还是?它处于独立模式,没有群集管理器。您是否查看了spark UI以确保您的工作人员正确连接到您的主机?他们没有连接到主机,这就是问题所在!以下是我得到的警告:WARN Utils:Your hostname,datacenter dev解析为环回地址:127.0.1.1;改为使用10.0.2.15(在界面eth0上)16/03/11 14:09:23警告Utils:如果需要绑定到其他地址,请设置SPARK\u LOCAL\u IP您是否在amazon AWS上使用它?您的ACL/iptables配置可能会阻止执行器连接到主机。