Database SQL server可伸缩性问题
我们正在尝试构建一个必须存储数十亿条记录的应用程序。一万亿+ 单个记录将包含文本数据和关于文本文档的元数据 pl帮助我了解存储限制。数据库SQL或oracle可以支持这么多数据吗？或者我必须寻找其他基于文件系统的解决方案？我有什么选择 由于中央服务器必须处理来自多个客户端的传入负载，并行插入和搜索将如何扩展？如何在多个数据库或表上分发数据？我对这种规模化环境的数据库细节不太熟悉 最初填充数据库时，插入负载将很高，随后随着数据库的增长，搜索负载将增加，插入将减少 数据的总大小将超过1000 TBDatabase SQL server可伸缩性问题,database,scalability,Database,Scalability,我们正在尝试构建一个必须存储数十亿条记录的应用程序。一万亿+ 单个记录将包含文本数据和关于文本文档的元数据 pl帮助我了解存储限制。数据库SQL或oracle可以支持这么多数据吗？或者我必须寻找其他基于文件系统的解决方案？我有什么选择 由于中央服务器必须处理来自多个客户端的传入负载，并行插入和搜索将如何扩展？如何在多个数据库或表上分发数据？我对这种规模化环境的数据库细节不太熟悉 最初填充数据库时，插入负载将很高，随后随着数据库的增长，搜索负载将增加，插入将减少 数据的总大小将超过1000 TB
谢谢。根据上的MSDN页面，它可以在一个数据库中容纳524272 TB的数据，尽管它只能容纳每个文件16TB的数据，所以对于1000TB的数据，您可能希望实现。如果文件本身很大，并且将被视为二进制的blob，那么您可能还想看看，它实际上将文件保存在文件系统中，但维护SQL Server的概念，例如事务、备份等
以上所有内容都适用于SQL Server。其他产品（如Oracle）应该提供类似的功能，但我无法列出它们。根据上的MSDN页面，它可以在单个数据库中容纳524272 TB的容量-尽管它只能容纳每个文件16TB的容量，所以对于1000TB，您应该考虑实现。如果文件本身很大，并且将被视为二进制的blob，那么您可能还想看看，它实际上将文件保存在文件系统中，但维护SQL Server的概念，例如事务、备份等 以上所有内容都适用于SQL Server。其他产品（如Oracle）应该提供类似的功能，但我无法列出它们 一万亿+ 单个记录将包含文本数据 以及文本文档的元数据 请帮助我了解 存储限制 我希望你们在硬件方面有一大笔预算。这和“百万”一样大 一万亿个文档，每个文档的总存储容量为1024字节（当你说文本时，这不太可能是真实的），大约是950 TB的数据大小。存储限制意味着您在这里谈论高端SAN。使用2tb光盘的非冗余设置，即450张光盘。做数学题。增加冗余/raid，您就可以谈论主要的硬件投资。a这假设每个文档只有1kb。如果您平均使用16千克数据，这是。。。7200个2tb光盘 这首先是一个硬件问题。SQL Server的可扩展性不高，而且在单个系统中也无法做到这一点。对于这样的文档存储，通常的方法是集群存储系统（集群或分布式文件系统）加上用于关键字/标记的中央数据库。取决于加载/插入，可能包含分布式搜索的hte数据库的副本 无论将来是什么，存储/备份需求都非常好。这里的Lagre项目，预算很大 IO负载将是另一个问题——硬件方面。您将需要一台大型计算机，并在其中获得大量IO带宽。我在SQL Server上看到8gb的链接过载（由HP eva提供190张光盘），我可以想象您将运行类似的功能。无论价格如何，您都希望硬件在技术上具有尽可能多的ram，除非您将BLOB存储在外部 SQL行压缩可能非常方便。全文搜索将是一个问题 数据的总大小将超过1000 结核病 不，说真的。我想它会更大。1000tb假设文档很小，就像旅行票的XML格式一样 一万亿+ 单个记录将包含文本数据 以及文本文档的元数据 请帮助我了解 存储限制 我希望你们在硬件方面有一大笔预算。这和“百万”一样大 一万亿个文档，每个文档的总存储容量为1024字节（当你说文本时，这不太可能是真实的），大约是950 TB的数据大小。存储限制意味着您在这里谈论高端SAN。使用2tb光盘的非冗余设置，即450张光盘。做数学题。增加冗余/raid，您就可以谈论主要的硬件投资。a这假设每个文档只有1kb。如果您平均使用16千克数据，这是。。。7200个2tb光盘 这首先是一个硬件问题。SQL Server的可扩展性不高，而且在单个系统中也无法做到这一点。对于这样的文档存储，通常的方法是集群存储系统（集群或分布式文件系统）加上用于关键字/标记的中央数据库。取决于加载/插入，可能包含分布式搜索的hte数据库的副本 无论将来是什么，存储/备份需求都非常好。这里的Lagre项目，预算很大 IO负载将是另一个问题——硬件方面。您将需要一台大型计算机，并在其中获得大量IO带宽。我在SQL Server上看到8gb的链接过载（由HP eva提供190张光盘），我可以想象您将运行类似的功能。无论价格如何，您都希望硬件在技术上具有尽可能多的ram，除非您将BLOB存储在外部 SQL行压缩可能非常方便。全文搜索将是一个问题 数据的总大小将超过1000 结核病
不，说真的。我想它会更大。1000tb假设文档很小—就像旅行票的XML格式。在SQL Server空间中，您可能想看一看，它是为100s TB/PB的应用程序设计的。Teradata，Oracle Ex