Python 使用Apache.Spark管理任务的数量好吗?
我开发了新的python应用程序。它由两部分组成:服务器和工人。服务器必须启动任务并管理程序的整个生命周期。Worker是应用程序,它能够完成一项任务Python 使用Apache.Spark管理任务的数量好吗?,python,apache-spark,scheduled-tasks,task,Python,Apache Spark,Scheduled Tasks,Task,我开发了新的python应用程序。它由两部分组成:服务器和工人。服务器必须启动任务并管理程序的整个生命周期。Worker是应用程序,它能够完成一项任务 我想使用ApacheSpark。这是管理任务的正确方法吗?如果没有,我应该使用什么样的软件来管理任务?我不知道您想做什么,但听起来Apache Spark不是正确的选择。这是一个分布式计算系统,不是任务管理器。查看它的文档,了解它是什么:我阅读文档并查看屏幕广播。我知道,Spark是一个分布式计算系统。但是,根据这一点,我的应用程序可能会使用Sp
我想使用ApacheSpark。这是管理任务的正确方法吗?如果没有,我应该使用什么样的软件来管理任务?我不知道您想做什么,但听起来Apache Spark不是正确的选择。这是一个分布式计算系统,不是任务管理器。查看它的文档,了解它是什么:我阅读文档并查看屏幕广播。我知道,Spark是一个分布式计算系统。但是,根据这一点,我的应用程序可能会使用Spark作为任务管理器,不是吗?如果你想管理Spark任务,那么是的。所以,我的问题有道理。如果我的工作人员是一个解析器,那就很好地考虑,那个工人是火花任务吗?不,你的工人不是一个火花任务。对不起,为什么不呢?我的解析器是独立的应用程序。我有一个解析器集群(每个解析器部署到唯一的服务器)。