Apache spark ApplicationMaster-在纱线中运行的不同类型的应用程序是否有所不同?
我试图理解纱线,并了解了术语Apache spark ApplicationMaster-在纱线中运行的不同类型的应用程序是否有所不同?,apache-spark,hadoop,mapreduce,yarn,hadoop2,Apache Spark,Hadoop,Mapreduce,Yarn,Hadoop2,我试图理解纱线,并了解了术语ApplicationMaster,以及其他术语 据我所知,在Hadoop 1.x中,只有MR可以运行,但是随着需求的增长,创建了纱线以使运行不同类型的作业成为可能,例如,MR作业、基于火花的作业等 我的问题是: 每种类型的工作(MR、Spark等)是否都有自己的应用程序管理员,也就是说,对于MR,是否有一种应用程序管理员,对于Spark类型的工作,是否有另一种应用程序管理员?您的问题的答案是是 想写一个关于纱线的新应用程序吗?Hadoop文档有一个解释方法。 Clo
ApplicationMaster
,以及其他术语
据我所知,在Hadoop 1.x中,只有MR可以运行,但是随着需求的增长,创建了纱线以使运行不同类型的作业成为可能,例如,MR作业、基于火花的作业等
我的问题是:
每种类型的工作(MR、Spark等)是否都有自己的应用程序管理员,也就是说,对于MR,是否有一种应用程序管理员,对于Spark类型的工作,是否有另一种应用程序管理员?您的问题的答案是
是
想写一个关于纱线的新应用程序吗?Hadoop文档有一个解释方法。
Cloudera的这篇文章有助于理解纱线应用程序的启动过程
想了解一下Spark对Thread ApplicationMaster的实现。检查谢谢你的指点。因此,简而言之,对于每种类型的应用程序,它都有自己的ApplicationMaster。