Ruby on rails 存储临时数据以进行处理的最有效方法是什么？

我正在用Ruby编写一个应用程序，它从API调用中收集大量数据并将其存储在一个文件中。然后它一个接一个地处理它。我想知道是否有比这更好的方法来实现同样的目标

---

注意：我希望通过将所有记录存储在本地来逐个处理这些记录，因为它们在API调用期间可能会发生更改。

我将考虑将信息存储在内存中的键/值存储中（例如或）。如果使用内存中的键/值存储，则可以基于后续API调用更新信息，而不是在一个文件中有多个记录，这些记录表示相同的数据，只是具有不同的值

但是，请记住，如果数据非常大，可能会耗尽内存。也就是说，如果您对千兆字节的数据感兴趣，那么您实现解决方案的方式可能是最好的选择