Python 基于iindex合并数据帧,为结果列应用特定函数

Python 基于iindex合并数据帧,为结果列应用特定函数,python,concatenation,quantile,Python,Concatenation,Quantile,我有一个大数据帧列表,例如 N=100000 data = [pd.DataFrame(np.random.rand(2*N).reshape(N,2), columns = ['foo','bar']) for _ in range(100)] 并且想要计算他们的隔离,例如: >>> pd.concat(data).quantile([.1,.3,.6,.9]) foo bar 0.1 0.100087 0.100087 0.3 0.3

我有一个大数据帧列表,例如

N=100000
data = [pd.DataFrame(np.random.rand(2*N).reshape(N,2), columns = ['foo','bar']) for _ in range(100)]
并且想要计算他们的隔离,例如:

>>> pd.concat(data).quantile([.1,.3,.6,.9])
          foo       bar
0.1  0.100087  0.100087
0.3  0.300140  0.299953
0.6  0.600156  0.600022
0.9  0.900219  0.899880

我的问题是连接需要一些时间,然后在生成的大数据帧上计算分位数。我想知道是否有一种方法可以做到这一点,而不必组合串联。

那么您想分别计算列表中每个数据帧的分位数吗?不,我想计算我现在正在做的事情,但不必计算。。。不确定这有多容易,因为计算分位数(天真地???)意味着您需要对数据进行排序,但如果情况并非如此(例如???),则可能有一个函数将遍历每个数据帧,然后输出总分位数或者,这只能用于近似,在这种情况下,我现在将坚持concat。。。