Python 适合社交网络的数据结构

Python 适合社交网络的数据结构,python,database,graph,Python,Database,Graph,对于一个大学项目,我目前正在抓取一些社交网络,以便在之后对数据集进行一些数据分析 现在我的爬虫程序工作了(或多或少),我想知道存储数据的最佳方式是什么。我从个人资料以及整个网络图中抓取个人信息,以便能够执行网络分析 首先,我想我可以把数据保存在一个常规数据库中。但是,由于我还必须保存每个配置文件的朋友,而且朋友的数量从几个朋友到5000个不等,因此我考虑使用ORM(例如SQLAlchemy)将所有内容保存在数据库中,这将导致配置文件之间的冗余连接。另一个想法是将普通个人资料数据(兴趣、朋友数量、

对于一个大学项目,我目前正在抓取一些社交网络,以便在之后对数据集进行一些数据分析

现在我的爬虫程序工作了(或多或少),我想知道存储数据的最佳方式是什么。我从个人资料以及整个网络图中抓取个人信息,以便能够执行网络分析

首先,我想我可以把数据保存在一个常规数据库中。但是,由于我还必须保存每个配置文件的朋友,而且朋友的数量从几个朋友到5000个不等,因此我考虑使用ORM(例如SQLAlchemy)将所有内容保存在数据库中,这将导致配置文件之间的冗余连接。另一个想法是将普通个人资料数据(兴趣、朋友数量、城市、年龄等)保存在常规数据库中,并将网络图保存在单独的数据结构中,例如,保存在NetworkX图形中,或仅使用网络图数据库进行所有操作


我应该使用什么样的数据库来抓取社交网络?是否有保存此类数据的标准方法?

为什么使用ORM会导致冗余(朋友?)连接?