Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 一旦接收器获取完所有记录，触发流上下文停止的最佳方法是什么_Apache Spark_Spark Streaming - Fatal编程技术网
Fatal编程技术网
  • apache-spark/
  • Apache spark 一旦接收器获取完所有记录，触发流上下文停止的最佳方法是什么

Apache spark 一旦接收器获取完所有记录，触发流上下文停止的最佳方法是什么

apache-spark

Apache spark 一旦接收器获取完所有记录，触发流上下文停止的最佳方法是什么,apache-spark,spark-streaming,Apache Spark,Spark Streaming,我已经实现了一个定制的接收器，可以连续地从批量x记录的弹性搜索中获取数据。一旦接收者从弹性搜索中获取了特定查询的所有记录，我想停止流上下文。最好的方法是什么 您必须决定成功获取所有x条记录的最长时间，然后应用ssc.awaitTermination（最长时间）函数，或者您可以使用ssc.stop（）手动停止流媒体上下文

我已经实现了一个定制的接收器，可以连续地从批量x记录的弹性搜索中获取数据。一旦接收者从弹性搜索中获取了特定查询的所有记录，我想停止流上下文。最好的方法是什么

您必须决定成功获取所有x条记录的最长时间，然后应用
ssc.awaitTermination（最长时间）函数，或者您可以使用
ssc.stop（）手动停止流媒体上下文