Sql 我如何存储大量数据?
我必须每10秒存储从n台机器检索到的数据包。这些信息必须保存到数据库中,并永远留在这里。此外,数据包必须是灵活的(如果明天我想添加新数据,我必须能够做到)。 我的第一个想法是将日志文件中的每个机器数据包保存到一个sql表中,但在短时间内,我将拥有大量的文件,这些文件很难被nodejs应用程序读取或写入。我还需要更多的空间进入数据库。Sql 我如何存储大量数据?,sql,node.js,database,Sql,Node.js,Database,我必须每10秒存储从n台机器检索到的数据包。这些信息必须保存到数据库中,并永远留在这里。此外,数据包必须是灵活的(如果明天我想添加新数据,我必须能够做到)。 我的第一个想法是将日志文件中的每个机器数据包保存到一个sql表中,但在短时间内,我将拥有大量的文件,这些文件很难被nodejs应用程序读取或写入。我还需要更多的空间进入数据库。 有没有办法存储大量数据并保持高性能?我对大数据存储一无所知,但它能成为解决方案吗?定义“大”。定义“巨大”。只需做一些简单的数学运算。每个周期检索多少数据?每天有多
有没有办法存储大量数据并保持高性能?我对大数据存储一无所知,但它能成为解决方案吗?定义“大”。定义“巨大”。只需做一些简单的数学运算。每个周期检索多少数据?每天有多少个周期?你的保留期是多少?一旦知道了这一点,就可以使用不同的数据库进行测试,看看它们的性能如何。如果有必要,模拟一年或更长时间的写操作。我必须每10秒存储50个元素的json。因此,在一天内,从一台机器上,我将拥有8500行50个数据元素,这无关紧要。字节可以。你在说什么尺寸?你能压缩吗?如何使用这些数据?它经常被询问吗?需要索引吗?非常感谢你的帮助!!!我会听从你的建议