Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/spring-boot/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Azure 在HDinsight上运行spark时的故障恢复_Azure_Apache Spark_Master Slave - Fatal编程技术网
Fatal编程技术网
  • azure/
  • Azure 在HDinsight上运行spark时的故障恢复

Azure 在HDinsight上运行spark时的故障恢复

azure apache-spark

Azure 在HDinsight上运行spark时的故障恢复,azure,apache-spark,master-slave,Azure,Apache Spark,Master Slave,我试图通过以下步骤在Azure HDinsight上运行Apache spark 我想知道我是否必须自己管理主/从故障恢复，或者HDinsight会处理它。我还在Azure HDinsight上开发Spark流媒体应用程序。在Spark作业中，Spark和纱线可以为主控和从控提供一定的容错能力 但有时，驱动程序和工作程序也会因用户代码错误、引发内部问题和Azure HDInsight问题而崩溃。因此，我们需要创建自己的监视/守护进程，并维护恢复 对于流媒体场景来说，更难。作为需要保持7*24运行

我试图通过以下步骤在Azure HDinsight上运行Apache spark

我想知道我是否必须自己管理主/从故障恢复，或者HDinsight会处理它。

我还在Azure HDinsight上开发Spark流媒体应用程序。在Spark作业中，Spark和纱线可以为主控和从控提供一定的容错能力

  • 但有时，驱动程序和工作程序也会因用户代码错误、引发内部问题和Azure HDInsight问题而崩溃。因此，我们需要创建自己的监视/守护进程，并维护恢复
  • 对于流媒体场景来说，更难。作为需要保持7*24运行的Spark Streaming作业，如何保持机器的作业恢复重启和重新映像是一个值得关注的问题
    • 谢谢陶！这意味着，HDInsight无法吸收管理群集的所有复杂性：-(