Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/bash/16.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 使用spark submit，我是否需要一名工作人员使用客户端模式在我的笔记本电脑上运行？_Apache Spark - Fatal编程技术网
Fatal编程技术网
  • apache-spark/
  • Apache spark 使用spark submit，我是否需要一名工作人员使用客户端模式在我的笔记本电脑上运行？

Apache spark 使用spark submit，我是否需要一名工作人员使用客户端模式在我的笔记本电脑上运行？

apache-spark

Apache spark 使用spark submit，我是否需要一名工作人员使用客户端模式在我的笔记本电脑上运行？,apache-spark,Apache Spark,我现在迷路了。我正在运行一个Spark独立群集，在同一个机器上有一个工作进程。我这样做是为了证明概念，所以它还没有准备好生产 控制台截图 我在EC2中旋转了一个大盒子，有4个内核和16GB的RAM。我将从同一子网中的不同节点提交作业（安全组确认节点之间的所有端口都正常） 我收到以下错误消息 17/05/03 20:06:51警告TaskSchedulerImpl:初始作业未接受任何资源；检查集群UI以确保工作人员已注册并拥有足够的资源 您的屏幕截图显示有一个正在运行的应用程序正在使用所有资源。

我现在迷路了。我正在运行一个Spark独立群集，在同一个机器上有一个工作进程。我这样做是为了证明概念，所以它还没有准备好生产

控制台截图

我在EC2中旋转了一个大盒子，有4个内核和16GB的RAM。我将从同一子网中的不同节点提交作业（安全组确认节点之间的所有端口都正常）

我收到以下错误消息

17/05/03 20:06:51警告TaskSchedulerImpl:初始作业未接受任何资源；检查集群UI以确保工作人员已注册并拥有足够的资源

您的屏幕截图显示有一个正在运行的应用程序正在使用所有资源。你忘了停止任何应用程序吗？那是我正在尝试运行的应用程序。好的。然后，您的应用程序似乎有了执行者来运行。顺便说一下，这里的信息只是一个警告。你看到其他错误消息了吗？没有运行，这就是为什么我感到困惑的原因。你能在maser UI上显示“应用程序”表吗？ 
/bin/spark-submit --class SimpleApp --total-executor-cores 4 \
--executor-memory 10G --master spark://spark-test:7077 \
--deploy-mode client src/main/scala/target/scala-2.11/simple-project_2.11-1.0.jar