Python 在pyspark中并行运行命令

我在

pyspark

中有一小段代码

# save data frame as temp table 
df.createOrReplaceTempView("my_table")

# save data frame as csv
df.write.format("csv").save("my_csv")

现在执行

1st

命令，然后只执行

2nd

---

是否有一种方法可以并行触发这两个命令，即我希望两个命令同时执行

您可以使用python

多处理

from multiprocessing import Process

def create_temp_view(df):
    df.createOrReplaceTempView("my_table")

def write_df(df):
    df.write.mode("overwrite").format("csv").save("my_csv")


p1 = Process(create_temp_view(df))
p1.start()
p2 = Process(write_df(df))
p2.start()
p1.join()
p2.join()

---

您可以使用python

多处理

from multiprocessing import Process

def create_temp_view(df):
    df.createOrReplaceTempView("my_table")

def write_df(df):
    df.write.mode("overwrite").format("csv").save("my_csv")


p1 = Process(create_temp_view(df))
p1.start()
p2 = Process(write_df(df))
p2.start()
p1.join()
p2.join()