Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/310.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 火花放电的最佳实践_Python_Apache Spark_Pyspark - Fatal编程技术网
Fatal编程技术网
  • python/
  • Python 火花放电的最佳实践

Python 火花放电的最佳实践

python apache-spark pyspark

Python 火花放电的最佳实践,python,apache-spark,pyspark,Python,Apache Spark,Pyspark,有一个FlaskAPI，每次调用端点都会触发Spark中的作业，打开一个会话，完成后关闭该会话。 作业本身只需不到2分钟 每次调用该方法时，我都会启动会话并关闭它 启动一个会话并使其始终处于活动状态更好，还是每次打开并杀死它更好 谢谢如果您收到批量请求，那么将使用相同的资源创建多个spark会话，这将导致问题 最好保持spark会话运行并使用相同的服务请求谢谢您的回答，有关于该主题的文献吗？还是仅仅基于你的经验？这只是基于我的经验

有一个FlaskAPI，每次调用端点都会触发Spark中的作业，打开一个会话，完成后关闭该会话。 作业本身只需不到2分钟

每次调用该方法时，我都会启动会话并关闭它

启动一个会话并使其始终处于活动状态更好，还是每次打开并杀死它更好

谢谢

如果您收到批量请求，那么将使用相同的资源创建多个spark会话，这将导致问题

最好保持spark会话运行并使用相同的服务请求谢谢您的回答，有关于该主题的文献吗？还是仅仅基于你的经验？这只是基于我的经验