C# 协调3个列表的最佳算法

我正在寻找一种方法来协调来自3个不同来源的元素。我已经将元素简化为只有一个键（字符串）和一个版本（长）

同时获取列表（2个来自单独的数据库查询，1个来自另一个系统上的内存缓存）

对于我的最终结果，我只关心在所有3个源中不是相同版本的元素。所以我关心的结果是一个键列表，每个系统中都有相应的版本

Element1 | system1:v100    | system2:v100 | system3:v101 |
Element2 | system1:missing | system2:v200 | system3:v200 |

并且可以丢弃具有相同版本的元素

我想到的两种方法是

等待所有数据源完成检索，然后循环遍历每个列表以聚合一个主列表，该主列表包含键的联合+所有3个版本（丢弃所有相同的项）

检索第一个列表后，立即将其放入一个并发集合，如dictionary（在.net 4.0中提供），并在剩余列表可用时立即开始聚合剩余列表（放入并发集合）

我的想法是，第二种方法会快一点，但可能不会太快。在所有3个源都出现之前，我真的做不了什么，所以从第2种方法中并没有多少收获，引入了争用

---

也许还有一个完全不同的方法？此外，由于版本是使用long存储的，并且将有100到数千（可能数百万）个元素，因此内存分配可能是一个问题（因为这些对象的寿命很短，所以可能不是一个大问题）

HashSet是一个选项，因为它有Union和Intersect方法

要使用此选项，必须重写Equals和GetHashCode。
好的（唯一的）散列是性能的关键

如果版本为全v，则数字可以使用该数字构建缺少为0的哈希。
有Int32可以使用，所以如果版本是Int10或更低，可以创建一个完美的散列

另一个选项是ConcurrentDictionary（没有并发哈希集），并将所有三个提要都放入其中。
仍然需要重写Equals和GetHashCode。
我的直觉是三个哈希集，然后联合会会更快

如果所有版本都是数字的，并且可以使用0表示缺少，那么可以将其打包到UInt32或UInt64中，并将其直接放入哈希集中。然后打开包装。使用位推送（32）； //int i1=（int）高位； //int i2=（int）低位； } 使用ConcurrentDictionary进行测试，上述速度是ConcurrentDictionary的两倍以上。

---

在插件上设置锁非常昂贵。

您的问题似乎适合基于事件的解决方案。基本上为每个源分配完成数据的事件。保留类型为的全局并发哈希。在事件处理程序中，检查已完成的数据源，如果并发哈希包含当前元素的键，则只需将其添加到列表中，而不只是插入具有给定元素的新列表

---

但根据您的性能要求，这可能会使应用程序过于复杂。您的第一种方法是最简单的方法

所有列表的大小是否相同，位置

i

是否包含第i个元素的版本？否。。通常情况下，它们的大小会有所不同。根据版本不同（或缺失），这可能是正常的，或者警告的理由。项目的顺序也将不同。。当然，我可以添加排序，但不能依赖于所有项目的索引都是相同的。如果执行某种填充（使用示例中的

缺少的
值），则可以添加排序。这将大大降低计算复杂性，因为您不必搜索列表，只需访问特定位置即可。这一点很好。如果我为每个列表创建一个散列，以减少搜索时间，会怎么样？很好。是的，我考虑过使用我元素的哈希集（只需重写我的元素GetHasCode以返回密钥。但我不知道UnionWith方法..非常酷，您需要重写Equals。但是如果您有一个完美的哈希，则不会使用is。谢谢..这就是#2方法建议的内容..我只是不确定这对3个线程更新相同的哈希会有多大效果…NET没有concurr我已开始学习了。
class Program
{
    static void Main(string[] args)
    {
        HashSetComposite hsc1 = new HashSetComposite();
        HashSetComposite hsc2 = new HashSetComposite();
        for (UInt16 i = 0; i < 100; i++)
        {
            for (UInt16 j = 0; j < 40000; j++)
            {
                hsc1.Add(i, j);
            }
            for (UInt16 j = 20000; j < 60000; j++)
            {
                hsc2.Add(i, j);
            }
        }
        Console.WriteLine(hsc1.Intersect(hsc2).Count().ToString());
        Console.WriteLine(hsc1.Union(hsc2).Count().ToString());
    }
}

public class HashSetComposite : HashSet<UInt32>
{
    public void Add(UInt16 u1, UInt16 u2)
    {      
        UInt32 unsignedKey = (((UInt32)u1) << 16) | u2;
        Add(unsignedKey);           
    }
    //left over notes from long
    //ulong unsignedKey = (long) key;
    //uint lowBits = (uint) (unsignedKey & 0xffffffffUL);
    //uint highBits = (uint) (unsignedKey >> 32);
    //int i1 = (int) highBits;
    //int i2 = (int) lowBits;
}