Google cloud platform 在spark流作业上捕获dataproc kill信号的可能性
我正在寻找一种在PythonSpark流式作业中捕获dataproc作业终止信号的方法：我在dataproc上有一个特定的作业，该作业打开到PostgreSQL DB的几个连接，而PostgreSQL DB本身在其池中的连接数量有限。当前，如果重新启动作业，连接将无法正确关闭，因此此作业的下一个实例没有足够的可用连接来正确运行。如果我能够以某种方式捕获作业中的kill信号，我仍然可以确保连接最终关闭。我想最好的办法是在Python驱动程序中注册一个；调用它是否成功取决于重新启动或失败的原因，因此您只能通过首先使用预期的重新启动案例测试它来验证它是否有效Google cloud platform 在spark流作业上捕获dataproc kill信号的可能性,google-cloud-platform,google-cloud-dataproc,Google Cloud Platform,Google Cloud Dataproc,我正在寻找一种在PythonSpark流式作业中捕获dataproc作业终止信号的方法：我在dataproc上有一个特定的作业，该作业打开到PostgreSQL DB的几个连接，而PostgreSQL DB本身在其池中的连接数量有限。当前，如果重新启动作业，连接将无法正确关闭，因此此作业的下一个实例没有足够的可用连接来正确运行。如果我能够以某种方式捕获作业中的kill信号，我仍然可以确保连接最终关闭。我想最好的办法是在Python驱动程序中注册一个；调用它是否成功取决于重新启动或失败的原因，因此
否则，如果有一种方法可以通过其他方式强制清理孤立连接，那么在启动时查找它们并显式发出任何必要的清理调用可能会更容易。我想最好的办法是在Python驱动程序中注册一个；调用它是否成功取决于重新启动或失败的原因，因此您只能通过首先使用预期的重新启动案例测试它来验证它是否有效 否则，如果有办法通过其他方式强制清理孤立连接，那么在启动时查找它们并显式发出任何必要的清理调用可能会更容易