Python 通过应用加快数据帧分组速度
我在这里的另一篇文章中找到了下面的代码（并稍作修改）。它工作得很好，输出和我期望的一样，但是我想知道是否有人对速度改进有建议。我正在比较两个数据帧，大约有93000行和110列。groupby大约需要20分钟才能完成。我试着想办法加快速度，但没有遇到任何问题。在我的数据量在未来增加之前，我现在正在努力思考任何事情。我也愿意用其他方法来做这件事Python 通过应用加快数据帧分组速度,python,pandas,dataframe,pandas-groupby,Python,Pandas,Dataframe,Pandas Groupby,我在这里的另一篇文章中找到了下面的代码（并稍作修改）。它工作得很好，输出和我期望的一样，但是我想知道是否有人对速度改进有建议。我正在比较两个数据帧，大约有93000行和110列。groupby大约需要20分钟才能完成。我试着想办法加快速度，但没有遇到任何问题。在我的数据量在未来增加之前，我现在正在努力思考任何事情。我也愿意用其他方法来做这件事 ###Function that is called to check values in dataframe groupby def repo
###Function that is called to check values in dataframe groupby
def report_diff(x):
return 'SAME' if x[0] == x[1] else '{} | {}'.format(*x)
#return '' if x[0] == x[1] else '{} | {}'.format(*x)
print("Concatening CSV and XML data together...")
###Concat the dataframes together
df_all = pd.concat(
[df_csv, df_xml],
axis='columns',
keys=['df_csv', 'df_xml'],
join='outer',
)
print("Done")
print("Swapping column levels...")
###Display keys at the top of each column
df_final = df_all.swaplevel(axis='columns')[df_xml.columns[0:]]
print("Done")
df_final = df_final.fillna('None')
print("Grouping data and checking for matches...")
###Apply report_diff function to each row
df_excel = df_final.groupby(level=0, axis=1).apply(lambda frame: frame.apply(report_diff, axis=1))
df_csv[df_xml.columns]df_xmlTrue'SAME'df_csv = pd.DataFrame({'a':range(4),'b':[0,0,1,1],'c':list('abcd')})
df_xml = pd.DataFrame({'b':[0,2,3,1],'c':list('bbce')})
df_excel = pd.DataFrame( np.where( df_csv[df_xml.columns] == df_xml, #find where
'SAME', #True
df_csv[df_xml.columns].astype(str) + ' | ' + df_xml.astype(str)), #False
columns=df_xml.columns
index=df_xml.index)
print (df_excel)
b c
0 SAME a | b
1 0 | 2 SAME
2 1 | 3 SAME
3 SAME d | e
这和我用你的方法得到的结果是一样的。你能为
df_csvdf_xml