Apache spark 如何在库比奇部署spark？

我尝试使用k8s部署模式在Kubeedge 1.1.0上部署spark-2.4.3，但失败了（docker版本19.03.4，k8s版本1.16.1）

SPARK\u驱动程序\u绑定\u地址=10.4.20.34
火花_图像=火花：2.4.3
SPARK_MASTER=“k8s://http://127.0.0.1:8080"
指令=(
“$SPARK_HOME/bin/SPARK submit”
--conf“spark.driver.bindAddress=$spark\u driver\u BIND\u ADDRESS”
--conf“spark.kubernetes.container.image=${spark\u image}”
--conf“spark.executor.instances=1”
--conf“spark.kubernetes.executor.limit.cores=1”
--部署模式客户端
--master${SPARK_master}
--名称火花pi
--类org.apache.spark.examples.SparkPi
--驱动程序存储器1G
--执行器存储器1G
--num执行者1
--执行器核心1
文件：//${PWD}/spark-examples_2.11-2.4.3.jar
)
${CMD[@]}

节点状态正常

kubectl获取节点

但是我犯了一些错误

19/11/17 21:45:12信息k8s.ExecutorPodsAllocator:将向Kubernetes请求1名执行者。
2017年11月19日21:45:12 INFO util.Utils:在端口46571上成功启动了服务“org.apache.spark.network.netty.NettyBlockTransferService”。
2017年11月19日21:45:12信息netty.NettyBlockTransferService:服务器创建于10.4.20.34:46571
19/11/17 21:45:12 INFO storage.BlockManager:使用org.apache.spark.storage.RandomBlockReplicationPolicy作为块复制策略
2017年11月19日21:45:12信息存储。BlockManagerMaster：注册BlockManager BlockManagerId（驱动程序，10.4.20.3446571，无）
2017年11月19日21:45:12信息存储。BlockManagerMasterEndpoint：使用366.3 MB RAM注册块管理器10.4.20.34:46571，BlockManagerId（驱动程序，10.4.20.34，46571，无）
2017年11月19日21:45:12信息存储。BlockManagerMaster:已注册的BlockManager BlockManagerId（驱动程序，10.4.20.3446571，无）
2017年11月19日21:45:12信息存储。BlockManager:初始化的BlockManager:BlockManagerId（驱动程序，10.4.20.3446571，无）
2017年11月19日21:45:12信息处理程序。上下文处理程序：已启动o.s.j.s。ServletContextHandler@451882b2{/metrics/json，null，可用，@Spark}
2017年11月19日21:45:42信息k8s.KubernetesClusterSchedulerBackend:SchedulerBackend已准备好进行调度，等待maxRegisteredResourcesWaitingTime:30000（毫秒）后开始
2017年11月19日21:45:42信息spark.SparkContext:开始作业：在SparkKPI减少。scala:38
2017年11月19日21:45:42 INFO scheduler.DAGScheduler:已获得具有2个输出分区的作业0（在SparkPi.scala:38处减少）
2017年11月19日21:45:42信息调度器.DAGScheduler:最终阶段：结果阶段0（在SparkPi.scala:38处减少）
2017年11月19日21:45:42信息调度程序。DAG调度程序：最终阶段的父级：列表（）
2017年11月19日21:45:42信息调度器.DAGScheduler:缺少父项：列表（）
2017年11月19日21:45:42 INFO scheduler.DAGScheduler:正在提交ResultStage 0（SparkPi.scala:34处地图上的MapPartitionsRDD[1]），该结果没有丢失的父级
2017年11月19日21:45:42 INFO memory.MemoryStore:块广播存储为内存中的值（估计大小1936.0 B，可用容量366.3 MB）
19/11/17 21:45:42 INFO memory.MemoryStore:Block broadcast_0_piece0以字节形式存储在内存中（估计大小为1256.0 B，可用容量为366.3 MB）
2017年11月19日21:45:42信息存储.BlockManagerInfo:在10.4.20.34:46571的内存中添加了广播片段0（大小：1256.0 B，可用空间：366.3 MB）
2017年11月19日21:45:42信息spark.SparkContext:从DAGScheduler上的广播创建了广播0。scala:1161
2017年11月19日21:45:42 INFO scheduler.DAGScheduler:从ResultStage 0提交2个缺少的任务（SparkPi.scala:34上的MapPartitionsRDD[1]）（前15个任务用于分区向量（0，1））
2017年11月19日21:45:42信息调度器.TaskSchedulerImpl:添加包含2个任务的任务集0.0
19/11/17 21:45:57 WARN scheduler.TaskSchedulerImpl:初始作业未接受任何资源；检查集群UI以确保工作人员已注册并拥有足够的资源
19/11/17 21:46:12警告调度程序。TaskSchedulerImpl:初始作业未接受任何资源；检查集群UI以确保工作人员已注册并拥有足够的资源
19/11/17 21:46:27 WARN scheduler.TaskSchedulerImpl:初始作业未接受任何资源；检查集群UI以确保工作人员已注册并拥有足够的资源
19/11/17 21:46:42警告调度程序。TaskSchedulerImpl:初始作业未接受任何资源；检查集群UI以确保工作人员已注册并拥有足够的资源
19/11/17 21:46:57 WARN scheduler.TaskSchedulerImpl:初始作业未接受任何资源；检查集群UI以确保工作人员已注册并拥有足够的资源
19/11/17 21:47:12警告调度程序。TaskSchedulerImpl:初始作业未接受任何资源；检查集群UI以确保工作人员已注册并拥有足够的资源

是否可以在Kubernetes部署模式下在Kubeedge上部署spark？或者我应该尝试独立部署模式

---

我很困惑。

检查作业上的资源请求，并与节点上可用的资源进行比较。@coderanger我在edge节点中有4G内存，这就足够了。当我使用cmd

kubectl descripe pod spark pi

时，我成功地将default/spark-pi-1574083954796-exec-1分配给edge-node-001正常调度的60m默认调度程序，节点可能不是问题，您还需要检查pod和java内存设置。这些最大资源是您使用spark配置设置的。下面是一个很好的解释：datastax.com/blog/2014/10/common-spark-discobleshooting。你能检查一下这些资源吗？我已经放弃了，谢谢你回答我的问题@酸富士

NAME             STATUS   ROLES    AGE    VERSION
edge-node-001    Ready    edge     6d1h   v1.15.3-kubeedge-v1.1.0-beta.0.178+c6a5aa738261e7-dirty
ubuntu-ms-7b89   Ready    master   6d4h   v1.16.1