Apache spark Can'；t使用Spark独立启动作业
我目前正在为我的学校实施HPC集群。在各种安装之后，后面的一个是Spark，我试图用Spark Shell运行一个简单的字计数，以便测试Spark安装 我无法运行该作业，在项目推进的早期，SLURM也存在同样的问题（仍然没有修复）。当我尝试运行作业时，会出现此错误：“初始作业未接受任何资源；请检查群集UI以确保工作人员已注册并且有足够的资源” 从UI上可以看到，工人已正确注册，使用我在spark env中为他们提供的配置 我不认为它来自于配置，因为节点是注册的，我们在SLURM上也有类似的问题。 另外，我们知道网络上有一个全球防火墙，这是学校部署的，我们无法直接使用的。问题可能来自此防火墙吗 如果你有任何其他想法，我愿意测试任何Apache spark Can'；t使用Spark独立启动作业,apache-spark,cluster-computing,firewall,Apache Spark,Cluster Computing,Firewall,我目前正在为我的学校实施HPC集群。在各种安装之后，后面的一个是Spark，我试图用Spark Shell运行一个简单的字计数，以便测试Spark安装 我无法运行该作业，在项目推进的早期，SLURM也存在同样的问题（仍然没有修复）。当我尝试运行作业时，会出现此错误：“初始作业未接受任何资源；请检查群集UI以确保工作人员已注册并且有足够的资源” 从UI上可以看到，工人已正确注册，使用我在spark env中为他们提供的配置 我不认为它来自于配置，因为节点是注册的，我们在SLURM上也有类似的问题