Apache spark Cloudera执行问题:问题:初始作业未接受任何资源

Apache spark Cloudera执行问题:问题:初始作业未接受任何资源,apache-spark,cloudera,cloudera-cdh,cloudera-manager,cloudera-quickstart-vm,Apache Spark,Cloudera,Cloudera Cdh,Cloudera Manager,Cloudera Quickstart Vm,我正在尝试使用SAP Spark Controller从我们的SAP HANA数据库上的Cloudera快速入门Hadoop发行版(我们的Linux虚拟机)获取一些数据。每次我在HANA中触发作业时,它都会被卡住,我会在SPARK Controller的日志文件中每隔10-15秒连续记录以下警告,除非我终止该作业 WARN org.apache.spark.scheduler.cluster.YarnScheduler:初始作业未接受任何资源;检查您的群集UI以确保工作人员已注册并拥有足够的资源

我正在尝试使用SAP Spark Controller从我们的SAP HANA数据库上的Cloudera快速入门Hadoop发行版(我们的Linux虚拟机)获取一些数据。每次我在HANA中触发作业时,它都会被卡住,我会在SPARK Controller的日志文件中每隔10-15秒连续记录以下警告,除非我终止该作业

WARN org.apache.spark.scheduler.cluster.YarnScheduler:初始作业未接受任何资源;检查您的群集UI以确保工作人员已注册并拥有足够的资源

虽然它像警告一样被记录,但它似乎是一个阻止作业在Cloudera上执行的问题。据我所知,这要么是Cloudera上的资源管理问题,要么是端口阻塞问题。在我们的情况下,我们没有任何阻塞端口,因此它必须是前者

我们的Cloudera只运行一个节点,具有
16GB RAM
,具有
4个CPU核心

从总体配置来看,我有很多警告,但我无法确定它们是否与问题相关

下面还介绍了RAM在Cloudera上的分布方式

如果你能帮我找出这个问题的原因,那就太好了,因为在过去几天里,我一直在尝试各种组合,但都没有成功

谢谢,
Dimitar

您正在尝试使用Cloudera Quickstart虚拟机‎ 为了一个超出其能力范围的目的。它的真正含义是让人可以使用Hadoop和CDH,不应该用于任何生产级别的工作


节点管理器只有5GB的内存可用于计算资源。为了完成任何工作,您需要创建一个应用程序主机(AM)和一个Spark执行器,然后为您的执行器保留内存,而这是Quickstart VM上所没有的。

您正在尝试使用Cloudera Quickstart VM‎ 为了一个超出其能力范围的目的。它的真正含义是让人可以使用Hadoop和CDH,不应该用于任何生产级别的工作

节点管理器只有5GB的内存可用于计算资源。为了完成任何工作,您需要创建一个应用程序主程序(AM)和一个Spark执行器,然后为您的执行器保留内存,这是Quickstart VM上所没有的