Data structures 数据量大-数据组合的操作很少-什么样的数据结构?

Data structures 数据量大-数据组合的操作很少-什么样的数据结构?,data-structures,Data Structures,我试图找出解决这个问题的最佳数据结构。我有一个索引文件(~200000条记录),其中包含账号、唯一ID、日期、pdf表单名称和税码。根据从文件中读取的这些值,我必须分配一些操作(免税、删除、征税等)。一旦分配了操作,我就可以调用实现此操作的必要方法。 巨大的数据量是我无法做出决定的原因。有什么建议吗 200000条记录根本不是一个庞大的数据量 除非每个记录都必须引用另一个记录,否则您可以对文件进行流式处理。读取一行,将其转换为对象,根据需要处理该对象,调用必要的操作,然后转到文件中的下一行 使用

我试图找出解决这个问题的最佳数据结构。我有一个索引文件(~200000条记录),其中包含账号、唯一ID、日期、pdf表单名称和税码。根据从文件中读取的这些值,我必须分配一些操作(免税、删除、征税等)。一旦分配了操作,我就可以调用实现此操作的必要方法。
巨大的数据量是我无法做出决定的原因。有什么建议吗

200000条记录根本不是一个庞大的数据量

除非每个记录都必须引用另一个记录,否则您可以对文件进行流式处理。读取一行,将其转换为对象,根据需要处理该对象,调用必要的操作,然后转到文件中的下一行

使用此方法,数据的内存占用几乎为零


或者,您可以读取文件并在一个线程中每行创建一个对象,将每个对象放置在队列中,然后使用一个或多个工作线程将对象从队列中取出并处理它们。这将更好地利用多核CPU,但需要消耗一些内存,具体取决于队列的大小。当然,您可以设置最大队列大小以避免内存不足(当队列已满时,文件读取器线程将暂停,直到队列未满)。

您可以提供更多信息吗?最难的部分是存储所有东西,还是对事物进行分类?你有没有想过尝试一下?