Ruby on rails 在数据库中存储大json文件的最佳方法(postgres或mongo)

Ruby on rails 在数据库中存储大json文件的最佳方法(postgres或mongo),ruby-on-rails,json,ruby,mongodb,postgresql,Ruby On Rails,Json,Ruby,Mongodb,Postgresql,我想下载一些JSON格式的开放数据(地理数据)。 可下载文件以bz2格式存档,重量约430MB。解压时,json文件的重量约为3,2 Gb 还可以下载与单个区域(总共100个)对应的部分数据。在这种情况下,每个文件的重量约为4MB,一旦解压缩,就会得到一个24MB的json文件 我计划在rails应用程序中使用这些数据(目前使用的是postgres数据库) 由于数据是JSON格式的,所以我考虑将mongodb数据库与我的postgres数据库集成在一起。 但是我不知道mongodb是否能够加载如

我想下载一些JSON格式的开放数据(地理数据)。
可下载文件以
bz2
格式存档,重量约430MB。解压时,
json
文件的重量约为3,2 Gb

还可以下载与单个区域(总共100个)对应的部分数据。在这种情况下,每个文件的重量约为4MB,一旦解压缩,就会得到一个24MB的
json
文件

我计划在rails应用程序中使用这些数据(目前使用的是postgres数据库)

由于数据是JSON格式的,所以我考虑将mongodb数据库与我的postgres数据库集成在一起。
但是我不知道mongodb是否能够加载如此大的文件,例如使用
mongoimport

我听说文档大小限制为8或16 Mb。。但是,这个限制是对应于文件的单个“行”还是对应于整个文档

在这种情况下,即使使用部分文件,也不可能使用mongodb,对吗?
但由于我也听说了
mongoid
是“慢”的,我想知道在postgres本身、在它自己的表(甚至在它自己的数据库上)中“加载”这些数据是否更好 如果是,如何加载这些数据?
我考虑用纯Ruby逐行读取文件,并将数据库填充到
seed.rb
文件中。(我知道这可能需要很长时间)

有人能告诉我在我的情况下什么是最好的选择吗


一些注意事项:
我没有任何限制。
我正在使用docker容器。
这些数据将是只读的,以便为主应用程序中的某些字段提供自动完成功能。
我计划每周左右从新下载的文件中更新数据

编辑:我感兴趣的“字段”(我是指JSON文件的键)是可以包含多个单词的字符串(即空格分隔的字符串)。
最后,我希望在单词的开头有最快的查找搜索(可能是在字符串的中间)。 根据mongodb和postgres提供的索引可能性,选择可能会受到限制。
对于postgres,我可以将这些数据存储在字符串字段中,甚至“按原样”存储在JSONB字段中,以确定哪一个字段提供了最快的索引。

您可以尝试使用它吗?它最适合于无法放入内存的大型JSON文档

或者尝试实现这一点


希望对您有所帮助

只是一个提示:您知道PostgreSQL有几何和地理查询关键字吗?你可以(慢慢地)从你的JSON解析地理数据,然后把它放到你的数据库中,完全意识到这一点,准备被选中。嗨,是的,我实际上在我的主应用程序中使用了PostGIS扩展,但在这里,我只对字符串值(地点名称、街道等)感兴趣。我真的很感兴趣查询整个集合以提供那些字符串值。为此,如果我从JSON中提取数据以将其放入postgres中,我可能会使用该解析器(或另一个解析器)(作为后台作业或在
seed.rb
file.BTW中,如果是这样,我可以使用普通的旧关系字符串字段,也可以使用JSONB字段。我可能会使用这些字符串中单词的开头进行搜索。我可能会选择索引查找最快的解决方案。)。。