Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/320.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 处理非常大的矩阵mysql_Python_Mysql_Database_Performance_Mariadb - Fatal编程技术网

Python 处理非常大的矩阵mysql

Python 处理非常大的矩阵mysql,python,mysql,database,performance,mariadb,Python,Mysql,Database,Performance,Mariadb,我有一个python项目,在这个项目中,我分析了表示网络中不同节点之间关系的矩阵模型上的一些数据集 必须保留矩阵中的数据,以便进行进一步的统计历史处理。如果可能的话,我应该使用MySQL,因为我以前对这个项目有依赖关系 我的问题是,在大约300Mb的情况下,在5小时的执行过程中,寄存器的数量可能超过70亿 我应该使用哪种数据库模型才能对DDBB执行合理有效的查询 有没有人有过类似的经历 你真的需要一个数据库吗?这是非常无效的。只需将文件保存在磁盘上。如果仍然需要,请将文本文件作为blob保存到数

我有一个python项目,在这个项目中,我分析了表示网络中不同节点之间关系的矩阵模型上的一些数据集

必须保留矩阵中的数据,以便进行进一步的统计历史处理。如果可能的话,我应该使用MySQL,因为我以前对这个项目有依赖关系

我的问题是,在大约300Mb的情况下,在5小时的执行过程中,寄存器的数量可能超过70亿

我应该使用哪种数据库模型才能对DDBB执行合理有效的查询


有没有人有过类似的经历

你真的需要一个数据库吗?这是非常无效的。只需将文件保存在磁盘上。如果仍然需要,请将文本文件作为blob保存到数据库中。我想查询数据以进行统计处理。例如,我想知道哪些节点以及它们在哪里,谁在与某个特定节点通话。请注意HDF5格式。它是为大的、复杂的、多层的数据开发的,并且有许多语言的库和包,包括python。它还有可视化工具:如何将700000000个数字压缩成3000000000字节?每个都小于1字节吗?事实上,数据远大于300Mb。不知道多少钱。我看是HFF5格式的,谢谢。