Apache spark 计数火花'；s saveAsHadoopFile是否异步执行？_Apache Spark_Spark Streaming

Apache spark 计数火花'；s saveAsHadoopFile是否异步执行？

apache-spark

Apache spark 计数火花'；s saveAsHadoopFile是否异步执行？,apache-spark,spark-streaming,Apache Spark,Spark Streaming,我正在运行spark streaming任务，在每个批中，我将执行saveAsHadoopFile函数我的问题是这个函数是否可以异步执行也就是说，io函数不会阻止下一个块的处理不确定您的意思，您使用哪种语言。如果您使用Scala，Futures或Akka参与者可能有助于异步执行；用于JavaExecutorServices或Akka参与者。（我对Python不够熟悉。）你能给出一个更具体的例子吗？

我正在运行spark streaming任务，在每个批中，我将执行saveAsHadoopFile函数

我的问题是这个函数是否可以异步执行

也就是说，io函数不会阻止下一个块的处理

不确定您的意思，您使用哪种语言。如果您使用Scala，

Future

s或Akka参与者可能有助于异步执行；用于Java

ExecutorService

s或Akka参与者。（我对Python不够熟悉。）你能给出一个更具体的例子吗？