Sql server 集群SQL与Hadoop

Sql server 集群SQL与Hadoop,sql-server,hadoop,Sql Server,Hadoop,我是hadoop新手 只要了解Hadoop HDFS是基于平面文件的 而集群化的MS SQL Server是RDBMS(不确切地知道它叫什么,但它被DB拆分为多个服务器并充当一个数据库) 对于单服务器数据,我知道RDBMS比基于平面文件的数据快得多,因为您可以索引RDBMS(我希望我没有错) 如果这是真的,那么为什么基于多服务器平面文件的Hadoop比基于多服务器RDBMS的群集化MS SQL server更快?SQL server群集是一个高可用性解决方案,而不是并行计算解决方案。微软有SQL

我是hadoop新手

只要了解Hadoop HDFS是基于平面文件的

而集群化的MS SQL Server是RDBMS(不确切地知道它叫什么,但它被DB拆分为多个服务器并充当一个数据库)

对于单服务器数据,我知道RDBMS比基于平面文件的数据快得多,因为您可以索引RDBMS(我希望我没有错)


如果这是真的,那么为什么基于多服务器平面文件的Hadoop比基于多服务器RDBMS的群集化MS SQL server更快?

SQL server群集是一个高可用性解决方案,而不是并行计算解决方案。微软有SQL Server并行仓库(显然,里面有Hadoop:)。当只读操作不能在被动节点上执行时,AlwaysOn可以提供一些性能优势,但通常SQL Server是单节点解决方案。

SQL Server群集是一种高可用性解决方案,而不是并行计算解决方案。微软有SQL Server并行仓库(显然,里面有Hadoop:)。当只读操作不能在被动节点执行时,AlwaysOn可以提供一些性能优势,但一般来说,SQL Server是单节点解决方案。

SQL Server 2019(即将推出)实际上具有将这两个世界合并在一起的功能。您可以根据HDF在集群配置中进行横向扩展计算。您可以在此处阅读:

此技术的早期版本在SQL Server 2016/2017中发布,称为Polybase。它的技术实现和配置体验略有不同。您可以在此处阅读:

这两种方法都可以为您提供一种形式的“扩展计算”。Hadoop的目标是获取一些相对便宜的节点,并针对非常可划分的问题进行扩展。SQLServer也可以做到这一点,尽管通过它内置的各种机制,每个节点通常可以获得更好的性能。硬件和软件(以及配置/管理开销)有一个成本因素,这是NoSQL和基于SQL的解决方案之间的权衡。虽然在这两个模型中可以做的事情有一些重叠,但横向扩展方法对于完全可划分的问题(无论是在成本还是在规模上)有一些优势,而RDBMS方法可能具有更丰富/更快的查询功能。这并不是说你不能扩展SQL,也不能在NoSQL中实现更复杂的应用。他们有优势,然后是他们“能”做什么和“不能/不应该”做什么

(传统的SQL Server正如另一个答案所建议的那样——在扩展方面有一定的局限性,尽管AlwaysOn Availability Group让您可以选择构建可读的二级数据库来进行部分扩展计算)

SQL Server 2019(即将推出)实际上有一个将这两个世界融合在一起的功能。您可以根据HDF在集群配置中进行横向扩展计算。您可以在此处阅读:

此技术的早期版本在SQL Server 2016/2017中发布,称为Polybase。它的技术实现和配置体验略有不同。您可以在此处阅读:

这两种方法都可以为您提供一种形式的“扩展计算”。Hadoop的目标是获取一些相对便宜的节点,并针对非常可划分的问题进行扩展。SQLServer也可以做到这一点,尽管通过它内置的各种机制,每个节点通常可以获得更好的性能。硬件和软件(以及配置/管理开销)有一个成本因素,这是NoSQL和基于SQL的解决方案之间的权衡。虽然在这两个模型中可以做的事情有一些重叠,但横向扩展方法对于完全可划分的问题(无论是在成本还是在规模上)有一些优势,而RDBMS方法可能具有更丰富/更快的查询功能。这并不是说你不能扩展SQL,也不能在NoSQL中实现更复杂的应用。他们有优势,然后是他们“能”做什么和“不能/不应该”做什么


(传统的SQL Server与另一个答案所建议的一样——在扩展方面有一定的局限性,尽管AlwaysOn Availability Group允许您选择构建可读的二级数据库来进行部分扩展计算)

Hadoop不仅仅是HDFS,因此您可以在Hadoop的基础上使用许多不同的RDBMS解决方案。您可以在这些基准上找到满足您需求的各种基准(例如at),以及各种产品的更多细节(例如)。Hadoop不仅仅是HDFS,因此您可以在Hadoop之上使用许多不同的RDBMS解决方案。您可以找到满足您需求的各种基准(例如at),以及各种产品的更多细节(例如)