Python 在循环中创建数据帧时性能不佳。需要改进代码的建议吗

我正在编写一些python代码，生成适合进一步EDA、BI和特征提取的数据帧

我有一个带有以下列的数据帧：

party\u id client\u id date\u st
0 pid1 CLID2019-07-01
1 pid2 clid3 2019-06-15
2 pid3 clid3 2019-06-14
3 pid4 CLID2019-07-01
4 pid5 CLID2019-04-03
5 pid6 clid3 2019-04-03
6 pid7 clid1 2019-05-20

如果party_id是唯一的，则其他Col不是唯一的。这意味着不止一个客户可以代表多个不同的当事人（即使在一个日期）。该方可被视为特定客户的独特交易

还有另一个数据帧：

fact\u id client\u id fact\u date fact\u sum
0 fid1 clid1 2018-06-02 24.37
1 fid2 clid1 2020-10-10 2.62
2 fid3 clid2 2016-01-04 47.52
3 fid4 clid3 2019-06-14 60.42
4 fid5 clid1 2019-04-03 32.77
5 fid6 CLID2019-04-03 28.95
6 fid7 clid1 2019-05-20 46.49
7 fid8 CLID2019-07-01 76.10
8 fid9 clid3 2018-12-15 85.27
9 fid10 clid1 2019-02-05 53.00
10 fid11 clid2 2017-03-18 19.25
11 fid12 clid3 2019-04-03 51.14
12 fid13 clid1 2019-02-08 56.89
13 fid14 clid2 2018-11-09 80.51
14 fid15 CLID2019-08-15 68.08

如果事实id是唯一的，则其他COL不是唯一的。 此表表示以前与交易没有直接关联的客户购买

我需要如下构造的新数据帧： 对于应用程序中的每个party_id，我需要来自日期前但不早于半年前（可能更改）发生的事实的行子集。 换句话说，我需要在特定交易之前在一个窗口中进行所有购买

我不在乎两个不同的当事人是否在一次约会中得到两个相同的客户ID——这很正常。客户一天可以有两次不同的交易。我不需要任何聚合，因为这个数据帧将在tsfresh之类的框架中进行分析

到目前为止，如果迭代应用程序['party_id']并连接过滤后的数据帧，我所管理的每一次：

def解析事实（应用程序、事实、参与方id、窗口）：
clid=app[app['party\u id']==party\u id]['client\u id']。值[0]
date\u st=pd.to\u datetime（应用程序[应用程序['party\u id']==参与方id]['date\u st'].值[0]）
temp_df=事实[
（事实['client_id']==clid）和\
（事实['fact_date']=date_st+datetime.timedelta（days=-window））].copy（）
temp_df['party_id']=party_id
返回温度
new_facts=pd.concat（[parse_facts（app，facts，i，180）for i in app['party_id'].values]，ignore_index=True）

生成的数据帧应如下所示：

new_facts[['party_-id'，'client_-id'，'fact_-date'，'fact_-sum']
当事人身份客户身份事实日期事实总数
0 pid1 CLID2019-04-03 32.77
1 pid1 clid1 2019-05-20 46.49
2 pid1 clid1 2019-02-05 53.00
3 pid1 CLID2019-02-08 56.89
4 pid2 clid3 2019-06-14 60.42
5 pid2 clid3 2019-04-03 51.14
6 pid3 clid3 2019-04-03 51.14
7 pid4 CLID2019-04-03 28.95
8 pid5 clid2 2018-11-09 80.51
9 pid6 clid3 2018-12-15 85.27
10 pid7 clid1 2019-04-03 32.77
11 pid7 clid1 2019-02-05 53.00
12 pid7 clid1 2019-02-08 56.89

我已经成功地解决了这个任务，但它在整个数据集上的性能非常差：5万个唯一的参与方和1100万个唯一的事实。这导致了我的机器（96核，512GRAM）在一个线程中运行数天的计算时间

---

你能提出一些改进和重构代码的方法吗？我知道循环是不好的样式，但我不知道如何在这个任务中避免循环。

首先通过

client\u id

合并数据帧，然后过滤掉不好的行怎么样

import pandas as pd
from datetime import timedelta


app['date_bg'] = app['date_st'] - timedelta(days=180)
df = pd.merge(facts, app)
df_c = (df['fact_date'] > df['date_bg']) & (df['fact_date'] < df['date_st'])
out = df[df_c][['party_id', 'client_id', 'fact_date', 'fact_sum']]
print(out.sort_values('party_id'))

将熊猫作为pd导入
从日期时间导入时间增量
应用程序['date\u bg']=应用程序['date\u st']-时间增量（天=180）
df=pd.merge（事实、应用）
df_c=（df['fact_date']>df['date_bg']）和（df['fact_date']

编辑：
我想到了更节省内存的解决方案：

start_date = datetime(2019, 1, 1)
outs = []
for i in range(12):
    start = start_date + timedelta(days=i*31)
    start_f = start - timedelta(days=180)
    end = start_date + timedelta(days=(i+1)*31)
    
    app_sub = app[(app['date_st'] > start) & (app['date_st'] <= end)]
    facts_sub = facts[(facts['fact_date'] > start_f) & (facts['fact_date'] <= end)]
    df = pd.merge(facts_sub, app_sub)
    df_c = (df['fact_date'] > df['date_bg']) & (df['fact_date'] < df['date_st'])
    out = df[df_c][['party_id', 'client_id', 'fact_date', 'fact_sum']]
    outs.append(out)

out = pd.concat(outs)
print(out.sort_values('party_id'))

start_date=datetime（2019,1,1）
出局=[]
对于范围（12）内的i：
开始=开始日期+时间增量（天=i*31）
开始\u f=开始-时间增量（天数=180）
结束=开始日期+时间增量（天=（i+1）*31）
app_sub=app[（app['date_st']>start）&（app['date_st']start_f）&（facts['fact_date']df['date_bg']）和（df['fact_date']

---

它根据日期将数据帧分为更小的块，因此没有任何重复。合并后的数据帧将更小，并准备连接到最终输出。

首先通过

客户端id

合并数据帧，然后过滤掉坏行怎么样

import pandas as pd
from datetime import timedelta


app['date_bg'] = app['date_st'] - timedelta(days=180)
df = pd.merge(facts, app)
df_c = (df['fact_date'] > df['date_bg']) & (df['fact_date'] < df['date_st'])
out = df[df_c][['party_id', 'client_id', 'fact_date', 'fact_sum']]
print(out.sort_values('party_id'))

将熊猫作为pd导入
从日期时间导入时间增量
应用程序['date\u bg']=应用程序['date\u st']-时间增量（天=180）
df=pd.merge（事实、应用）
df_c=（df['fact_date']>df['date_bg']）和（df['fact_date']

编辑：
我想到了更节省内存的解决方案：

start_date = datetime(2019, 1, 1)
outs = []
for i in range(12):
    start = start_date + timedelta(days=i*31)
    start_f = start - timedelta(days=180)
    end = start_date + timedelta(days=(i+1)*31)
    
    app_sub = app[(app['date_st'] > start) & (app['date_st'] <= end)]
    facts_sub = facts[(facts['fact_date'] > start_f) & (facts['fact_date'] <= end)]
    df = pd.merge(facts_sub, app_sub)
    df_c = (df['fact_date'] > df['date_bg']) & (df['fact_date'] < df['date_st'])
    out = df[df_c][['party_id', 'client_id', 'fact_date', 'fact_sum']]
    outs.append(out)

out = pd.concat(outs)
print(out.sort_values('party_id'))

start_date=datetime（2019,1,1）
出局=[]
对于范围（12）内的i：
开始=开始日期+时间增量（天=i*31）
开始\u f=开始-时间增量（天数=180）
结束=开始日期+时间增量（天=（i+1）*31）
app_sub=app[（app['date_st']>start）&（app['date_st']start_f）&（facts['fact_date']df['date_bg']）和（df['fact_date']