Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark ApplicationMaster-在纱线中运行的不同类型的应用程序是否有所不同?_Apache Spark_Hadoop_Mapreduce_Yarn_Hadoop2 - Fatal编程技术网

Apache spark ApplicationMaster-在纱线中运行的不同类型的应用程序是否有所不同?

Apache spark ApplicationMaster-在纱线中运行的不同类型的应用程序是否有所不同?,apache-spark,hadoop,mapreduce,yarn,hadoop2,Apache Spark,Hadoop,Mapreduce,Yarn,Hadoop2,我试图理解纱线,并了解了术语ApplicationMaster,以及其他术语 据我所知,在Hadoop 1.x中,只有MR可以运行,但是随着需求的增长,创建了纱线以使运行不同类型的作业成为可能,例如,MR作业、基于火花的作业等 我的问题是: 每种类型的工作(MR、Spark等)是否都有自己的应用程序管理员,也就是说,对于MR,是否有一种应用程序管理员,对于Spark类型的工作,是否有另一种应用程序管理员?您的问题的答案是是 想写一个关于纱线的新应用程序吗?Hadoop文档有一个解释方法。 Clo

我试图理解纱线,并了解了术语
ApplicationMaster
,以及其他术语

据我所知,在Hadoop 1.x中,只有MR可以运行,但是随着需求的增长,创建了纱线以使运行不同类型的作业成为可能,例如,MR作业、基于火花的作业等

我的问题是:
每种类型的工作(MR、Spark等)是否都有自己的应用程序管理员,也就是说,对于MR,是否有一种应用程序管理员,对于Spark类型的工作,是否有另一种应用程序管理员?

您的问题的答案是

想写一个关于纱线的新应用程序吗?Hadoop文档有一个解释方法。
Cloudera的这篇文章有助于理解纱线应用程序的启动过程


想了解一下Spark对Thread ApplicationMaster的实现。检查

谢谢你的指点。因此,简而言之,对于每种类型的应用程序,它都有自己的ApplicationMaster。