Python 在pandas中迭代唯一值的更快方法?

Python 在pandas中迭代唯一值的更快方法?,python,pandas,swifter,Python,Pandas,Swifter,我有一些pandas代码,我正试图在一个大数据集上运行,尽管使用了apply,但它看起来基本上是迭代的,运行缓慢。。。欢迎您的建议 我正试着整理我的数据。每行都有一个非唯一的事件ID,每个事件ID可以包含多个事件。如果这些事件中的任何一个是特定类型的,我希望具有该ID的每一行都有一个特定的标志-例如,该类型的事件发生在该ID中。然后我希望导出仅具有ID的数据帧,该标志显示该事件是否发生在该ID中 这是我正在使用的代码: no_duplicates = df.drop_duplicates(sub

我有一些pandas代码,我正试图在一个大数据集上运行,尽管使用了apply,但它看起来基本上是迭代的,运行缓慢。。。欢迎您的建议

我正试着整理我的数据。每行都有一个非唯一的事件ID,每个事件ID可以包含多个事件。如果这些事件中的任何一个是特定类型的,我希望具有该ID的每一行都有一个特定的标志-例如,该类型的事件发生在该ID中。然后我希望导出仅具有ID的数据帧,该标志显示该事件是否发生在该ID中

这是我正在使用的代码:

no_duplicates = df.drop_duplicates(subset=["ID])

def add_to_clean(URN):
    single_df = df[df["URN"] == URN].copy()
    return single_df["Event_type"].sum() > 0

no_duplicates["Event_type"] = no_duplicates["ID"].swifter.apply(add_to_clean)

虽然我尝试使用apply而不是loop,但它似乎仍然在对整个代码进行迭代,而且耗时很长。关于如何提高效率,您有什么想法吗?

如果需要使用聚合值填充新列,请改用apply+join,但transform仅使用一个列事件类型:


如果需要使用聚合值填充新列,请改用apply+join,但transform仅使用一个列事件类型:


你能创建一些样本数据吗?你能创建一些样本数据吗?哦,这是明智的。代码在一行中不太有效,但是执行groupby然后合并可能很好。应该测试。哦,这是明智的。代码在一行中不太有效,但是执行groupby然后合并可能很好。将进行测试。
no_duplicates["Event_type"] = no_duplicates.groupby("URN").Event_type.transform('sum') > 0