Python 理解Spark执行中的DAG
我想在Spark中运行代码时更好地理解DAG的执行。我知道Spark是惰性的,当我们执行任何操作(如计数、显示、缓存)时,它都会运行转换命令 然而,我想知道在DAG中执行这些操作需要多长时间 就像我在预测数据框上写以下命令一样Python 理解Spark执行中的DAG,python,apache-spark,pyspark,Python,Apache Spark,Pyspark,我想在Spark中运行代码时更好地理解DAG的执行。我知道Spark是惰性的,当我们执行任何操作(如计数、显示、缓存)时,它都会运行转换命令 然而,我想知道在DAG中执行这些操作需要多长时间 就像我在预测数据框上写以下命令一样 sorted_predictions=predictions.orderBy(['user','prediction'],ascending=[1,0]) def mapIdToString(x): """ This function takes in the
sorted_predictions=predictions.orderBy(['user','prediction'],ascending=[1,0])
def mapIdToString(x):
""" This function takes in the predicted dataframe and adds the original Item string to it
"""
global data_map_var
d_map=data_map_var.value
data_row= x.asDict()
#print data_row
for name, itemID in d_map.items():
if data_row['item']== itemID:
return (data_row['user'],data_row['item'],name,data_row['rating'],data_row['prediction'])
sorted_rdd=sorted_predictions.map(mapIdToString)
In [20]:
sorted_rdd.take(5)
Out[20]:
[(353, 21, u'DLR_Where Dreams Come True Town Hall', 0, 0.896152913570404),
(353, 2, u'DLR_Leading at a Higher Level', 1, 0.7186800241470337),
(353,
220,
u'DLR_The Year of a Million Dreams Leadership Update',
0,
0.687175452709198),
(353, 1, u'DLR_Challenging Conversations', 1, 0.6632049083709717),
(353,
0,
u'DLR_10 Keys to Inspiring, Engaging, and Energizing Your People',
1,
0.647541344165802)]
sorted_df=sqlContext.createDataFrame(sorted_rdd,['user','itemId','itemName','rating','prediction'])
sorted_df.registerTempTable("predictions_df")
query = """
select * from predictions_df
where user =353
and rating =0
"""
items_recommended=sqlContext.sql(query)
现在,当我运行下面的命令时,我期待着,因为这是一个小查询,它应该运行得很快。但要给出结果需要很多时间。看起来它将一直到DAG的顶端,并再次执行所有的操作
我不明白,因为当我执行sortedrdd.take(5)命令时,DAG会被破坏。因此,如果我现在运行下面的命令,这个命令之后的任何内容都将被执行,而不是在此之前
items_recommended.count()
那它为什么要运行一个小时呢?我使用60个执行器和5个内核。已排序的rdd有450MM行
编辑1:
这是大卫回答的后续问题。假设我有以下命令
对数据帧进行排序
你是说每次我用.take()
运行最后一个命令时,它都会返回到第一个orderBy
并再次对数据帧排序,然后再次运行所有命令?。即使我执行了sorted\u prediction.show()
以执行先前的排序命令
编辑II:
如果我有如下函数:
def train_test_split(self,split_perc):
""" This function takes the DataFrame/RDD of ratings and splits
it into Training, Validation and testing based on the splitting
percentage passed as parameters
Param: ratings Dataframe of Row[(UserID,ItemID,ratings)]
Returns: train, validation, test
"""
# Converting the RDD back to dataframe to be used in DataFrame ml API
#ratings=sqlContext.createDataFrame(split_sdf,["user", "item", "rating"])
random_split=self.ratings_sdf.randomSplit(split_perc,seed=20)
#return random_split[0],random_split[1],random_split[2]
self.train=random_split[0]
self.train.cache().count()
# Converting the ratings column to float values for Validation and Test data
self.validation=random_split[1].withColumn('rating',(random_split[1].rating>0).astype('double'))
self.test=random_split[2].withColumn('rating',(random_split[2].rating>0).astype('double'))
self.validation.cache().count()
self.test.cache()
此功能基本上是将数据帧拆分为train、val和test。我将在稍后的机器学习任务中使用这三种方法,因此将使用train来训练用于超参数调优的algo和val
所以我缓存了上面三个。然而,为了使缓存可执行,我做了。这三个都可以。但是现在这个功能需要很多时间才能工作。你认为这三个都需要一个.count吗?或者我可以在一个上做.count(test.count(),它将执行上述函数中的所有命令,并将缓存train和val数据报?。我觉得应该可以,不需要三个计数
我不明白,因为当我执行sortedrdd.take(5)命令时,DAG会被破坏。所以在这个命令之后的任何东西都会被执行,而不是在此之前
Spark的惰性评估扩展到在内存中存储东西。除非您显式地cache()
中间数据,否则Spark不会这样做。如果没有cache()
调用,Spark将需要在执行(5)之前重新处理所有步骤
也要打电话。要解决这个问题,请在采取类似操作之前缓存您的rdd
sorted_rdd.cache().take(5)
解决编辑问题
你是说每次我用.take()
运行最后一个命令时,它都会返回到第一个orderBy
并再次对数据帧排序,然后再次运行所有命令?即使我执行了sorted\u prediction.show()
以执行先前的排序命令
正确。在下面的代码中,Spark需要运行所有步骤来创建预测
,以及orderBy
计算来显示20行排序的预测
。然后它将运行所有步骤来创建预测
,orderBy
计算和映射
计算o显示5行已排序的\u rdd
sorted_predictions=predictions.orderBy(['user','prediction'],ascending=[1,0])
sorted_predictions.show(20)
sorted_rdd=sorted_predictions.map(mapIdToString)
sorted_rdd.take(5)
从评论中
我认为缓存也是一种行为
缓存本身不是一个操作。它是一条将RDD
/DataFrame
存储在内存中的指令,但在运行操作(例如计数、获取、显示等)之前,这不会真正发生
我不明白,因为当我执行sortedrdd.take(5)命令时,DAG会被破坏。所以在这个命令之后的任何东西都会被执行,而不是在此之前
Spark的惰性评估扩展到在内存中存储东西。除非您显式地cache()
中间数据,否则Spark不会这样做。如果没有cache()
调用,Spark将需要在执行(5)之前重新处理所有步骤
也要打电话。要解决这个问题,请在采取类似操作之前缓存您的rdd
sorted_rdd.cache().take(5)
解决编辑问题
你是说每次我用.take()
运行最后一个命令时,它都会返回到第一个orderBy
并再次对数据帧排序,然后再次运行所有命令?即使我执行了sorted\u prediction.show()
以执行先前的排序命令
正确。在下面的代码中,Spark需要运行所有步骤来创建预测
,以及orderBy
计算来显示20行排序的预测
。然后它将运行所有步骤来创建预测
,orderBy
计算和映射
计算o显示5行已排序的\u rdd
sorted_predictions=predictions.orderBy(['user','prediction'],ascending=[1,0])
sorted_predictions.show(20)
sorted_rdd=sorted_predictions.map(mapIdToString)
sorted_rdd.take(5)
从评论中
我认为缓存也是一种行为
缓存本身不是一个操作。它是一条将RDD
/DataFrame
存储在内存中的指令,但这实际上不会发生,直到运行一个操作(例如计数、获取、显示等)尝试解决后续问题尝试解决后续问题