Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 使用Apache.Spark管理任务的数量好吗?_Python_Apache Spark_Scheduled Tasks_Task - Fatal编程技术网

Python 使用Apache.Spark管理任务的数量好吗?

Python 使用Apache.Spark管理任务的数量好吗?,python,apache-spark,scheduled-tasks,task,Python,Apache Spark,Scheduled Tasks,Task,我开发了新的python应用程序。它由两部分组成:服务器和工人。服务器必须启动任务并管理程序的整个生命周期。Worker是应用程序,它能够完成一项任务 我想使用ApacheSpark。这是管理任务的正确方法吗?如果没有,我应该使用什么样的软件来管理任务?我不知道您想做什么,但听起来Apache Spark不是正确的选择。这是一个分布式计算系统,不是任务管理器。查看它的文档,了解它是什么:我阅读文档并查看屏幕广播。我知道,Spark是一个分布式计算系统。但是,根据这一点,我的应用程序可能会使用Sp

我开发了新的python应用程序。它由两部分组成:服务器和工人。服务器必须启动任务并管理程序的整个生命周期。Worker是应用程序,它能够完成一项任务


我想使用ApacheSpark。这是管理任务的正确方法吗?如果没有,我应该使用什么样的软件来管理任务?

我不知道您想做什么,但听起来Apache Spark不是正确的选择。这是一个分布式计算系统,不是任务管理器。查看它的文档,了解它是什么:

我阅读文档并查看屏幕广播。我知道,Spark是一个分布式计算系统。但是,根据这一点,我的应用程序可能会使用Spark作为任务管理器,不是吗?如果你想管理Spark任务,那么是的。所以,我的问题有道理。如果我的工作人员是一个解析器,那就很好地考虑,那个工人是火花任务吗?不,你的工人不是一个火花任务。对不起,为什么不呢?我的解析器是独立的应用程序。我有一个解析器集群(每个解析器部署到唯一的服务器)。