Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/database/8.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
存储多组100k行,每个行具有100个数值、过滤/分页/排序功能;任何数据库、sql/nosql或任何Azure';需要什么样的服务_Sql_Database_Azure_Nosql - Fatal编程技术网

存储多组100k行,每个行具有100个数值、过滤/分页/排序功能;任何数据库、sql/nosql或任何Azure';需要什么样的服务

存储多组100k行,每个行具有100个数值、过滤/分页/排序功能;任何数据库、sql/nosql或任何Azure';需要什么样的服务,sql,database,azure,nosql,Sql,Database,Azure,Nosql,我有多组数据,每一组都少于100K行,每一行大约有100个数字(浮点) 需要为该数据选择具有导入和查询功能的存储。导入只发生一次,在数据未更改之后 应快速执行以下查询(使用伪sql): 查询总是包括分页和排序;过滤(其中)是可选的。过滤(如果包括)仅使用一列,并且始终具有形式A

我有多组数据,每一组都少于100K行,每一行大约有100个数字(浮点)

需要为该数据选择具有导入和查询功能的存储。导入只发生一次,在数据未更改之后

应快速执行以下查询(使用伪sql):

查询总是包括分页和排序;过滤(其中)是可选的。过滤(如果包括)仅使用一列,并且始终具有形式
A

我们目前使用Cosmos(以前的DocumentDB),它太贵了

请推荐一个更便宜的替代品


如果与您的建议不兼容,也可以删除查询的某些要求(例如,无过滤)。

您可以在免费数据库上轻松运行此功能,具体取决于您拥有的数据集数量,这将适用于中高规格的个人计算机或小型服务器。每个数据集的大小将介于40MB和80MB之间,具体取决于数字是整数、浮点还是十进制。当它在数据库中时,会占用更多的空间


我会使用关系数据库,因为您处理的是数字,而不是文本或文档。PostgreSQL或MySQL可以工作。SQLite是否可以取决于您有多少数据集。我更喜欢PostgreSQL或MySQL,因为它们实际上是全功能数据库。这里有更多的信息,包括下载站点的链接:。

你的想法是否意味着要为每一列创建索引?你计算过索引的空间了吗?是否需要索引?对于这种大小的表,索引可能是一个缺点。在没有索引的情况下,这些表上的查询将运行得非常快。我说没有看到数据,因为你会在内存中得到几个这样的数据集,完全扫描不需要时间,而加载100个索引则需要时间。我注意到你说的数字是浮点,我以前没有注意到。在这种情况下,您肯定不想为它们编制索引,因为您几乎永远不会得到精确的匹配。我不知道您是否有1000万或1000万个数据集。如果你有1000万,那么你应该看看SciDB。我没有这方面的经验,但它专门用于科学数据。这些数据集会动态变化,因此在理想情况下,解决方案应该可以无限扩展,但是,永远不会出现跨数据集查询。不幸的是,这与主题无关:服务推荐和意见征集。你说的是定价。这根本没有正确的答案。@DavidMakogon不幸的是,这只是你的意见。实际上,这个问题完全符合我的观点,因为它(1)
涵盖了程序员常用的软件工具,
和(2)
是一个实用的、可回答的问题,这是软件开发所特有的
不,与我的观点无关,你的问题非常广泛。你要求的是一个“更便宜的选择”——这是关于服务定价的。离题。数据库类型?主题外(图形?列?k/v?文档?关系?)。它是广泛的、基于意见的、服务推荐。这是三个离题的原因。您已经获得了一篇关于关系数据库的评论文章(加入了一堆品牌名称)。这就是为什么这些问题是离题的:它们只会导致意见和垃圾邮件。从[主题与离题](stackoverflow.com/help/on-topic)的同一个链接来看:问题太广泛,不清楚,不完整的或主要基于意见的可能会被社区搁置,直到它们得到改进。@DavidMakogon我正在处理非常具体的存储问题,这是一个非常严格的定义:100K行的100个浮点数,具有分页/过滤/排序功能,插入一次,无更新。你为什么决定这个问题是广义的?
SKIP 60 rows, 
SELECT ALL COLUMNS, 30 next rows
WHERE column1 BETWEEN A and B
ORDER BY column6 ASC/DESC