Algorithm 并行外部排序的复杂性是什么
我想知道在进行并行外部排序时的复杂性是什么 假设我有大数组N和有限的内存。F.e 10亿个条目需要排序，内存中只有1k个条目 在本例中，我使用并行线程将大数组拆分为块大小为B的K个排序文件，并保存在磁盘中 读取所有文件后，使用with PRITYQUEUE和threads合并回新数组 我需要用大O表示法计算复杂性 如果我使用多进程，比如说N个处理器，复杂性会发生什么变化Algorithm 并行外部排序的复杂性是什么,algorithm,sorting,external-sorting,Algorithm,Sorting,External Sorting,我想知道在进行并行外部排序时的复杂性是什么 假设我有大数组N和有限的内存。F.e 10亿个条目需要排序，内存中只有1k个条目 在本例中，我使用并行线程将大数组拆分为块大小为B的K个排序文件，并保存在磁盘中 读取所有文件后，使用with PRITYQUEUE和threads合并回新数组 我需要用大O表示法计算复杂性 如果我使用多进程，比如说N个处理器，复杂性会发生什么变化 is it ~O(N/10 * log N) ?? 感谢无论处理器数量和/或外部驱动器数量如何，时间复杂度都将是O（n l
is it ~O(N/10 * log N) ??
感谢无论处理器数量和/或外部驱动器数量如何，时间复杂度都将是O（n log（n））。总时间为T（n/a logb（n）），但由于a和b是常数，时间复杂度在O（n log（n））时保持不变，即使时间快10倍
我不清楚你所说的“并行”外部排序是什么意思。我假设有多个内核或多个处理器，但是否也有多个驱动器？是否所有N个核或处理器共享同一个内存，仅容纳1k个元素，还是每个核或处理器都有自己的“1k”内存（实际上有“Nk”内存）
一般的外部合并排序 在初始过程中，输入数组以大小为B的块（1k个元素）读取、排序，然后写入K个排序文件。这个初始过程的最终结果是大小为B（1k个元素）的K个排序文件。所有剩余的过程将重复合并已排序的文件，直到生成单个已排序的文件 初始过程通常受cpu限制，使用多个内核或处理器对大小为B的每个块进行排序将缩短时间。任何排序方法或任何稳定的排序方法均可用于初始过程 对于合并阶段，能够在执行合并操作的同时执行I/O将减少时间。使用多线程将I/O与合并操作重叠将减少时间，并且比使用异步I/O做同样的事情更简单。我不知道如何使用多线程来减少k路合并操作的时间 对于k-way合并，将以大小为B/（k+1）的较小块读取文件。这允许k路合并操作使用k个输入缓冲区和1个输出缓冲区 对于硬盘驱动器，随机访问开销是一个问题，例如传输速率为200 MB/s，平均随机访问开销为0.01秒，这与传输2 MB的时间相同。若缓冲区大小为2MB，那个么随机访问开销将有效地将传输速率降低1/2到大约100MB/s。如果缓冲区大小为8KB，则随机访问开销会有效地将传输速率降低1/250至~0.8MB/s。使用较小的缓冲区，由于随机访问的开销，双向合并将更快 对于非服务器设置中的SSD，通常没有命令队列，读取时的命令开销约为.0001秒，写入时为.000025秒。Sata接口SSD的传输速率约为500 MB/s。如果缓冲区大小为2MB，则命令开销很小。如果缓冲区大小为4KB，则读取速率将降低1/12.5至~40 MB/s，写入速率将降低1/3.125至~160 MB/s。所以，如果缓冲区大小足够小，双向合并也会更快 在PC上，这些小缓冲区的情况不太可能发生。对于大型文本文件的gnu排序，在默认设置下，它分配1GB以上的ram，在初始过程中创建1GB排序文件，并执行16路合并，因此缓冲区大小为1GB/17~=60MB。（17用于16个输入缓冲器，1个输出缓冲器）
考虑这样一种情况：所有数据都放在内存中，内存由k个排序列表组成。合并列表的时间复杂度将为O（n log（k）），无论是否使用双向合并排序、是否以任何顺序合并列表对或是否使用k向合并排序一次性合并所有列表
我在我的系统上做了一些实际测试，英特尔3770K 3.5ghz，Windows7 Pro 64位。对于基于堆的k-way合并，k=16时，传输速率约为235 MB/秒，k=4时，传输速率约为495 MB/秒。对于非堆4路合并，传输速率约为1195 MB/秒。硬盘驱动器传输速率通常为70 MB/秒到200 MB/秒。典型的SSD传输速率约为500 MB/秒。昂贵的服务器类型SSD（SAS或PCIe）的读取速度高达~2GB/秒，写入速度高达~1.2GB/秒 无论处理器数量和/或外部驱动器数量如何，时间复杂度都将是O（n log（n））。总时间为T（n/a logb（n）），但由于a和b是常数，时间复杂度在O（n log（n））时保持不变，即使时间快10倍
我不清楚你所说的“并行”外部排序是什么意思。我假设有多个内核或多个处理器，但是否也有多个驱动器？是否所有N个核或处理器共享同一个内存，仅容纳1k个元素，还是每个核或处理器都有自己的“1k”内存（实际上有“Nk”内存）
一般的外部合并排序 在初始过程中，输入数组以大小为B的块（1k个元素）读取、排序，然后写入K个排序文件。这个初始过程的最终结果是大小为B（1k个元素）的K个排序文件。所有剩余的过程将重复合并已排序的文件，直到生成单个已排序的文件 初始过程通常受cpu限制，使用多个内核或处理器对大小为B的每个块进行排序将缩短时间。任何排序方法或任何稳定的排序方法均可用于初始过程 对于合并阶段，能够在执行合并操作的同时执行I/O将减少时间。使用多线程将I/O与合并操作重叠将减少时间，并且比使用异步I/O做同样的事情更简单。我不知道如何使用多线程来减少k路合并操作的时间 为了一个k