Python：优化数据帧处理

我已经在多个数据帧中处理了原始数据。每个数据框都包含个人用户数据以及他们在时间序列中单击的社交网络。每个数据框大致代表一年或两年，我希望在处理后将所有内容合并到一个数据框中

在循环中，我首先将每个数据帧转换为以下结构以获得聚合数据

    year  month  social_clicks, Gender
0   2010    01  google, yahoo, google, google, facebook, facebook, m,f,m
1   2010    02  facebook, yahoo, google, google, facebook, facebook, m,f,m
2   2010    03  yahoo, yahoo, google, google, facebook, facebook, f,f,m
3   2010    04  google, yahoo, google, twitter, facebook, facebook, f,f,f
4   2010    05  facebook, yahoo, google, google, facebook, facebook, m,f,m
5   2010    06  twitter, yahoo, google, twitter, facebook, google, m,f,f

最终目标是将上述时间序列数据处理为以下数据帧结构

    year  month  google  yahoo  facebook  twitter M F
0   2010    01    3       1         2       0     2 1
1   2010    02    2       1         3       0     2 1
2   2010    03    2       2         2       0     1 2

我遍历包含所有单个数据帧的列表，同时将它们转换为上述聚合结构。我想将这个过程并行化以加快处理速度

pre_processed_dfs = []
finalized_dfs = []
        for frame in pre_processed_dfs:

            ## Calculate the gender per month
            gender_df = frame.groupby(['year','month'])['Gender'].apply(
                lambda x: ','.join(x)).reset_index()

            df_gender = gender_df.Gender.str.split(',', expand=True)
            df_gender = pd.get_dummies(df_gender, prefix='', prefix_sep='')
            df_gender = df_gender.groupby(df_gender.columns, axis=1).sum()
            df_gender_agg = pd.concat([gender_df, df_gender], axis=1)
            df_gender_agg.drop('Gender', axis=1, inplace=True)

            ## construct data frame to maintain monthly social clicks
            social_df = frame.groupby(['year','month'])['social_clicks'].apply(
                lambda x: ','.join(x)).reset_index()

            df = social_df.social_clicks.str.split(',', expand=True)
            df = pd.get_dummies(df, prefix='', prefix_sep='')
            df = df.groupby(df.columns, axis=1).sum()
            social_df_agg = pd.concat([social_df, df], axis=1)
            social_df_agg.drop('social_clicks', axis=1, inplace=True)

            social_df_agg.set_index(['year', 'month'], inplace=True)
            df_gender_agg.set_index(['year', 'month'], inplace=True)

            social_gender_df = pd.merge(social_df_agg, df_gender_agg, left_index=True, right_index=True)

            social_gender_df.reset_index(level=social_gender_df.index.names, inplace=True)
            finalized_dfs.append(social_gender_df)
final_df = pd.concat(finalized_dfs)

当我使用较小的数据集运行时，上述过程会很快完成。但当我切换到使用实际数据集运行时，这个过程会运行很长时间。我相信最耗时的部分是我拆分和合并以及合并的部分

我可以并行化这个进程，将列表中每个数据帧的处理交给一个线程。除此之外，我还可以加速此循环中的连接和合并

我在看CPU和内存的使用情况：

PID    COMMAND      %CPU  TIME     #TH    #WQ  #PORT MEM    PURG   CMPRS  PGRP  PPID  STATE    BOOSTS         %CPU_ME %CPU_OTHRS UID
4565   python2.7    99.9  14:56:32 9/1  

我还将一条语句放在for循环的顶部，另一条语句在重置索引之后，它还没有到达代码的重置行

这应该是

df.set_index(['year', 'month']) \
  .iloc[:, 0].str.split(r',\s*').apply(pd.value_counts).fillna(0).reset_index()

---

您可以使用

交叉表

：

import pandas as pd
import numpy as np

size = 100
sites = "google,yahoo,facebook,twitter".split(",")
year = np.random.choice([2015, 2016], size)
month = np.random.choice(np.arange(1, 13), size)
gender = np.random.choice(["m", "f"], size)
click = np.random.choice(sites, size)

df = pd.DataFrame({"year":year, "month":month, "gender":gender, "click":click})

gender_counts = pd.crosstab([df.year, df.month], [df.gender])
click_counts = pd.crosstab([df.year, df.month], [df.click])

---

对不起，写问题时出错了。现在编辑我首先从个人记录开始每个记录代表他们点击的内容和性别