Python 3.x 加快搜索特定值的速度,而不是在整个df中
我有一个大熊猫数据框架,由大约100k行和~100列组成,具有不同的数据类型和任意内容 我需要声明它不包含特定的值,比如说Python 3.x 加快搜索特定值的速度,而不是在整个df中,python-3.x,pandas,Python 3.x,Pandas,我有一个大熊猫数据框架,由大约100k行和~100列组成,具有不同的数据类型和任意内容 我需要声明它不包含特定的值,比如说-1。 使用assert(not(any(test1.isin([-1]).sum()>0))会导致处理时间长达几秒 你知道如何加快速度吗?只是想从我的评论中给出一个完整的答案: 当-1不在test1中时。值可以检查-1是否在数据帧中 关于性能,这仍然需要检查每个值,这是您的情况 10^5*10^2=10^7 这样做只会节省求和的性能成本以及对这些结果的额外比较 否定这个结果
-1
。
使用assert(not(any(test1.isin([-1]).sum()>0))
会导致处理时间长达几秒
你知道如何加快速度吗?只是想从我的评论中给出一个完整的答案: 当
-1不在test1中时。值
可以检查-1
是否在数据帧中
关于性能,这仍然需要检查每个值,这是您的情况
10^5*10^2=10^7
这样做只会节省求和的性能成本以及对这些结果的额外比较 否定这个结果怎么样?@Sparky05:谢谢,
assert(而不是test1.values中的(-1))
可以提高大约50%的速度。比我想象的要少一点。