MongoDB系列 我正在开发一个应用程序,它为用户收集推特、脸谱网状态和脸谱网照片。目前,用户准确地确定了他们希望何时和何时进行此收获,并且爬行器在此期间提取数据。when和to存储在MySQL数据库中,我的计划是将所有tweet、状态和照片元数据存储在MongoDB中(实际图像存储在S3上)

MongoDB系列 我正在开发一个应用程序,它为用户收集推特、脸谱网状态和脸谱网照片。目前,用户准确地确定了他们希望何时和何时进行此收获,并且爬行器在此期间提取数据。when和to存储在MySQL数据库中,我的计划是将所有tweet、状态和照片元数据存储在MongoDB中(实际图像存储在S3上),mongodb,Mongodb,我想我会为用户想要获取的每个时段创建一个集合,然后将该时段的所有推文等存储在该特定集合中 这似乎是一个合理的方法吗 这似乎是一个合理的方法吗 #1用户查询是什么?是“按时段查找活动”吗?如果用户只想“按时段查找”,那么这是有意义的 但是,如果用户想要一个累积视图,现在您必须为用户收集历史并合并它以显示 如果您同时需要一个“截止时间”和一个“累计时间”,那么我建议只需将所有数据填充到单个用户对象中即可。用“收获运行”和“时间戳”标记单个操作很容易 Mongo详细信息:MongoDB可以处理高达4M

我想我会为用户想要获取的每个时段创建一个集合,然后将该时段的所有推文等存储在该特定集合中

这似乎是一个合理的方法吗

这似乎是一个合理的方法吗

#1用户查询是什么?是“按时段查找活动”吗?如果用户只想“按时段查找”,那么这是有意义的

但是,如果用户想要一个累积视图,现在您必须为用户收集历史并合并它以显示

如果您同时需要一个“截止时间”和一个“累计时间”,那么我建议只需将所有数据填充到单个用户对象中即可。用“收获运行”和“时间戳”标记单个操作很容易

Mongo详细信息:MongoDB可以处理高达4MB的单个文档。最新版本最多可达8或16MB。如果您只使用此空间来显示文本,请注意这是一个很大的文本空间。《战争与和平》的拷贝刚刚超过3MB。你说的是数百页4MB的文本。使用8或16MB,您可能可以在大多数人身上存储状态更新和tweet数年


请注意,MongoDB有用于存储二进制数据(如图像文件)的GridFS,因此您通常只在用户文档中存储指向这些数据的指针。

为什么,您认为将这些数据存储在单独的集合中是一个好主意。。。我有点困惑?我想你不应该需要一个以上的收藏,但也许你可以再解释一下?还有,(无耻的插件)这里有一个Twitter/MongoDB的小教程,如果它有用的话:我想它会让我更容易为那个特定的事件提取所有相关的东西?而不是在成千上万的文档中搜索我想要的?谢谢,这真的很有帮助。最常见的查询(99%的时间)是按时段查找活动。我计划将图像文件存储在S3上,并在MongoDB上保存对url的引用。