File 如何为许多文件找到文件格式中最独特的部分？

我正在解析某个文件格式，需要在数百万个不同的文件中找到该格式最独特的部分。例如，此文件格式的幻数不是唯一的，因为此特定文件格式的每个文件都具有相同的幻数。我正在寻找一个特定的部分，这是在这个文件格式是最独特的每个文件存在

我想知道是否有任何工具或脚本可以实现这一点。我已经尝试过一个非常粗糙的解决方案，就是将解析程序的输出转储到一个文本文件中，该文件基本上是一个文件格式的不同字段的列表，生成每个字段的编译文件。例如，一个文件将包含我正在查看的每个文件的所有神奇数字，然后使用以下命令：

sort <file> | uniq -c | sort

这将显示该特定字段有多少碰撞。这种方法相当缓慢，没有产生任何有希望的结果

我也研究了kDiff3，但它一次只能在两个文件上工作，当我必须研究大样本量时，这是不切实际的

---

很抱歉，我在这篇文章中说得非常含糊，但这与工作有关，我不确定我的公司和整体的相关政策

我正在努力了解编程环境，如果有助于澄清任何问题，我可以回答任何问题。或任何其他论坛的建议将不胜感激。