绘制一个非常巨大的pyspark柱的柱状图

绘制一个非常巨大的pyspark柱的柱状图,pyspark,Pyspark,相关问题: 我有一个很长的专栏,我无法将其转换为熊猫,正如上面主题spark耗尽内存所建议的那样 如何绘制此列的直方图?您应该能够从随机抽样的数据子集中获得具有代表性的直方图。可能从1%开始,如下所示: dfs = df.sample(withReplacement=False, fraction=0.01, seed=None).toPandas() 然后查看内存是否允许dfs.hist 在数据科学的许多应用中,对大型列和数据帧进行下采样是完全合法的,尽管在寻找罕见事件时可能会遇到麻烦。在s

相关问题:

我有一个很长的专栏,我无法将其转换为熊猫,正如上面主题spark耗尽内存所建议的那样


如何绘制此列的直方图?

您应该能够从随机抽样的数据子集中获得具有代表性的直方图。可能从1%开始,如下所示:

dfs = df.sample(withReplacement=False, fraction=0.01, seed=None).toPandas()
然后查看内存是否允许dfs.hist


在数据科学的许多应用中,对大型列和数据帧进行下采样是完全合法的,尽管在寻找罕见事件时可能会遇到麻烦。在seed=None的情况下重复此过程数次,并比较结果以使您放心

在相关问题中,最后一个选项仅转换为结果直方图。这个选项在你的情况下不起作用吗?可能是重复的