Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/sql/79.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Sql 我如何存储大量数据?_Sql_Node.js_Database - Fatal编程技术网

Sql 我如何存储大量数据?

Sql 我如何存储大量数据?,sql,node.js,database,Sql,Node.js,Database,我必须每10秒存储从n台机器检索到的数据包。这些信息必须保存到数据库中,并永远留在这里。此外,数据包必须是灵活的(如果明天我想添加新数据,我必须能够做到)。 我的第一个想法是将日志文件中的每个机器数据包保存到一个sql表中,但在短时间内,我将拥有大量的文件,这些文件很难被nodejs应用程序读取或写入。我还需要更多的空间进入数据库。 有没有办法存储大量数据并保持高性能?我对大数据存储一无所知,但它能成为解决方案吗?定义“大”。定义“巨大”。只需做一些简单的数学运算。每个周期检索多少数据?每天有多

我必须每10秒存储从n台机器检索到的数据包。这些信息必须保存到数据库中,并永远留在这里。此外,数据包必须是灵活的(如果明天我想添加新数据,我必须能够做到)。 我的第一个想法是将日志文件中的每个机器数据包保存到一个sql表中,但在短时间内,我将拥有大量的文件,这些文件很难被nodejs应用程序读取或写入。我还需要更多的空间进入数据库。
有没有办法存储大量数据并保持高性能?我对大数据存储一无所知,但它能成为解决方案吗?

定义“大”。定义“巨大”。只需做一些简单的数学运算。每个周期检索多少数据?每天有多少个周期?你的保留期是多少?一旦知道了这一点,就可以使用不同的数据库进行测试,看看它们的性能如何。如果有必要,模拟一年或更长时间的写操作。我必须每10秒存储50个元素的json。因此,在一天内,从一台机器上,我将拥有8500行50个数据元素,这无关紧要。字节可以。你在说什么尺寸?你能压缩吗?如何使用这些数据?它经常被询问吗?需要索引吗?非常感谢你的帮助!!!我会听从你的建议