Mpi 如何在HPC集群上创建分布式后缀树

我想为4GB的输入字符串创建一个后缀树。理想情况下，内存中树的大小约为100 GB。我不能在普通桌面上这样做。有没有办法在windows HPC群集上执行此操作？如何在HPC的不同计算节点上分配后缀树？

是的，可以这样做；谷歌学者列出了这个主题。诀窍在于将部分后缀初始分配给初始处理器；必须选择它，这样每个处理器都可以独立地找到树的一部分。一旦完成，通常的后缀树操作就可以相当有效地完成。我不知道任何公开的实现示例。

您的集群有多大？100 GB仍然是很多内存，也许你应该考虑写一些（大部分）到磁盘。另外，您将如何处理这些数据？感谢您回复suszterpatt。集群由8个节点组成，每个节点具有24GB的RAM和160GB的硬盘。我想使用此树进行序列匹配。将有数以百万计的字符串匹配搜索。在磁盘上写东西对我来说不是一个选择，它使搜索速度变慢。