Node.js node-sqlite3db文件太大了
我对node.js比较陌生，很长时间没有使用英语。对不起，我事先表达我的想法时口齿不清 我目前正在使用node-sqlite3从bitmex websocket中抓取比特币数据。 大约10天了，我得到了3746416行，占用了162MB的空间。 空间不是问题，因为我在raspberry pi上添加了640gb硬盘 但是370万行实在太大了，以至于我的windows pc应用程序都无法读取。（用于SQ-LITE的数据库浏览器） 所以我在谷歌上搜索了“如何每天制作单独的数据库文件”之类的东西。但是没有用Node.js node-sqlite3db文件太大了,node.js,sqlite,node-sqlite3,Node.js,Sqlite,Node Sqlite3,我对node.js比较陌生，很长时间没有使用英语。对不起，我事先表达我的想法时口齿不清 我目前正在使用node-sqlite3从bitmex websocket中抓取比特币数据。 大约10天了，我得到了3746416行，占用了162MB的空间。 空间不是问题，因为我在raspberry pi上添加了640gb硬盘 但是370万行实在太大了，以至于我的windows pc应用程序都无法读取。（用于SQ-LITE的数据库浏览器） 所以我在谷歌上搜索了“如何每天制作单独的数据库文件”之类的东西。但是没
如何做到这一点？每天制作一个单独的数据库文件是一个好主意吗？如果没有，什么是更好的解决方案？请澄清：你说“空间没有问题”，然后你说“370万行太大”。我的意思是162兆字节的空间不是问题，因为我有640千兆字节的物理硬盘容量。但问题是370万行数据的读取和分析时间太长。你们在做什么样的分析？如果是在select查询中，您是否有适当的索引来加快速度？嗯，300-400万行通常不被认为是一个大数据库。如果您谈论的是获取用户显示/浏览，那么您需要使用分页。@Shawn我主要是在价格上涨或快速下跌时查找数据。我打开windows db browser程序（db browser for SQ LITE）尝试从这里到那里定位数据，将其复制到txt文件中，然后在matlab和绘图图上打开。请澄清：你说“空间没有问题”，然后你说“370万行太大”.我的意思是162兆的空间不是问题，因为我有640兆容量的物理硬盘。但问题是370万行数据的读取和分析时间太长。你们在做什么样的分析？如果是在select查询中，您是否有适当的索引来加快速度？嗯，300-400万行通常不被认为是一个大数据库。如果您谈论的是获取用户显示/浏览，那么您需要使用分页。@Shawn我主要是在价格上涨或快速下跌时查找数据。我打开windows db browser程序（db browser for SQ LITE），尝试从这里到那里定位数据，将其复制到txt文件中，然后在matlab和绘图图上打开它。