Java Oozie SSH操作与其他操作的优缺点

Java Oozie SSH操作与其他操作的优缺点,java,hadoop,ssh,apache-spark,oozie,Java,Hadoop,Ssh,Apache Spark,Oozie,我想了解使用专门的oozie操作(例如java、hive、spark等)相对于SSH操作的优势 对于普通的shell操作,使用专门的oozie操作的优势是显而易见的:由于oozie将每个操作转换为map reduce作业,因此shell操作将转换为1-map 0-reduce作业,这意味着shell命令将在一些随机选择的集群节点上执行,从而确保正确执行,shell命令应该存在于每个集群节点上,这可能会变得很麻烦 SSH操作如何?我们显式地指定了一个节点,因此仅在该特定节点上安装所有必要的软件和命

我想了解使用专门的oozie操作(例如java、hive、spark等)相对于SSH操作的优势

对于普通的shell操作,使用专门的oozie操作的优势是显而易见的:由于oozie将每个操作转换为map reduce作业,因此shell操作将转换为1-map 0-reduce作业,这意味着shell命令将在一些随机选择的集群节点上执行,从而确保正确执行,shell命令应该存在于每个集群节点上,这可能会变得很麻烦

SSH操作如何?我们显式地指定了一个节点,因此仅在该特定节点上安装所有必要的软件和命令就足够了,因此我们可以使用SSH操作执行java、hive、spark和其他任何东西


那么为什么我们需要专门的行动呢?使用它们有什么好处?

好吧,可惜SSH操作被标记为不推荐使用。。。毕竟,为什么要费心构建一个带有资源管理器的分布式系统,该资源管理器根据节点标签、数据位置、队列优先级等放置作业。既然我们有上帝保佑的SSH,我们可以使用单线程程序在单节点上运行所有东西?@SamsonScharfrichter很抱歉问了一个不相关的问题,您的评论中是否有讽刺意味,或者您确实更喜欢SSH而不是其他所有操作?:-)1.SSH确实不受欢迎,因为它有一些限制——例如,您不能使用私钥身份验证。最好在Shell操作中使用
ssh
命令。这真是讽刺。Oozie最初的用途是调度MapReduce作业(无启动器)。然后添加了其他内容。但这对于边缘节点上的真正(即企业级)调度器来说是一个蹩脚的替代品。因为启动器作业是对Mapreduce框架的一种扭曲。@SamsonScharfrichter您能说得更具体一点吗?我仍然无法理解在某些主机上使用例如配置单元操作和使用ssh来启动相同的配置单元脚本之间的区别。如果配置单元未预安装在该主机上,则会产生很大的差异。