Performance 有限排序/过滤算法
我有一个相当大的元素列表（1000个） 我有一个可以接受或不接受元素的过滤器 我想要满足过滤器要求的前100个元素 到目前为止，我已经对结果进行了排序，然后选择了满足筛选条件的前100名。这背后的基本原理是，过滤器并非完全快速 但是现在，排序步骤比过滤步骤要长，所以我想以某种方式将它们结合起来Performance 有限排序/过滤算法,performance,algorithm,sorting,filter,Performance,Algorithm,Sorting,Filter,我有一个相当大的元素列表（1000个） 我有一个可以接受或不接受元素的过滤器 我想要满足过滤器要求的前100个元素 到目前为止，我已经对结果进行了排序，然后选择了满足筛选条件的前100名。这背后的基本原理是，过滤器并非完全快速 但是现在，排序步骤比过滤步骤要长，所以我想以某种方式将它们结合起来 是否有一种算法可以将排序/筛选的关注点结合起来，以获得满足筛选要求的前100个结果，而不会产生对所有元素进行排序的成本？我通过使用二叉树进行排序并在插入期间将元素计数保持在当前节点的左侧，解决了这个确切的
是否有一种算法可以将排序/筛选的关注点结合起来，以获得满足筛选要求的前100个结果，而不会产生对所有元素进行排序的成本？我通过使用二叉树进行排序并在插入期间将元素计数保持在当前节点的左侧，解决了这个确切的问题。有关详细信息，请参见（图4.4等）。我的直觉是从列表中选择前100个元素（比排序便宜得多，请使用您最喜欢的QuickSelect变体）。通过过滤器运行这些操作，产生
n100-nn<100100-nk = 100
while (k > 0):
select top k from list and remove them
filter them, yielding n successes
k = k - n
由于QuickSelect为您提供了前k个元素，而没有对这些k进行排序，因此如果您需要按顺序排列前100个元素，则需要对100个元素进行最后排序。如果我理解正确，您有两种选择：
- 选择100个元素-N个过滤器检查操作。然后100（lg 100）用于排序
- 排序，然后选择100个元素-至少N（lg N）进行排序，然后选择
第一个听起来比排序短，然后选择。我可能会先过滤，然后将结果插入优先级队列。跟踪PQ中的项目数，插入后，如果项目数大于您想要保留的项目数（在您的情况下为100），请弹出最小的项目并将其丢弃。Steve建议使用快速排序 1读入前1000个左右的元素。
2对它们进行排序并选择第100个最大元素。
3以步骤2中的元素为轴心，对整个文件运行一次快速排序。
4选择快速排序过程结果的上半部分进行进一步处理
保证在单次快速排序的上半部分至少包含100个元素。假设前1000个元素合理地代表了整个文件，那么在第4步，您应该得到大约十分之一的原始元素。如果不进行排序，您如何定义“top”？@dlev:您仍然需要排序。。。如果你知道你只需要几个“最高”值，你就不必对整个集合进行排序。+1这正是我要写的。完整性-预期运行时间为O（np+k log k）时间和O（np）过滤器应用程序，其中p是任何元素通过过滤器的概率。你不需要随着窗口的大小呈指数增长，顺便说一句-如果你假设元素以概率p独立通过过滤器，那么概率确实会呈指数下降。是的，我的噩梦场景“几乎所有元素都无法通过过滤器”只能在列表变长时才成立，如果过滤器不独立于元素的列表长度和排序顺序，但事实上在问题的更大版本中变得更挑剔。我认为，处理任何这种相互关系都超出了简单的复杂性分析的范围。因此，我很高兴你的独立性假设，并且假设它完全可以避免对那起致命案件的担忧。事实上，在你的评论中，
p