Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Database Hadoop是否仅推荐用于分布式环境?_Database_Hadoop - Fatal编程技术网

Database Hadoop是否仅推荐用于分布式环境?

Database Hadoop是否仅推荐用于分布式环境?,database,hadoop,Database,Hadoop,我有一个数据库,它的大小可以在一个月内达到1TB。如果我直接进行查询,需要很长时间。所以我想在数据库上使用Hadoop——大多数情况下,我的查询都涉及到搜索整个数据库。我的数据库实例将是1或2,不超过这个值。过了一会儿,我们清除了数据库。 因此,我们可以使用hadoop框架,因为它有助于处理大量数据吗?hadoop不是“您可以查询的东西”,但您可以使用它处理大量数据并创建搜索索引,然后将其加载到您可以查询的系统中 如果你想要一个大数据存储,你也可以考虑。除了HBase之外,还有许多其他键值或非关

我有一个数据库,它的大小可以在一个月内达到1TB。如果我直接进行查询,需要很长时间。所以我想在数据库上使用Hadoop——大多数情况下,我的查询都涉及到搜索整个数据库。我的数据库实例将是1或2,不超过这个值。过了一会儿,我们清除了数据库。 因此,我们可以使用hadoop框架,因为它有助于处理大量数据吗?

hadoop不是“您可以查询的东西”,但您可以使用它处理大量数据并创建搜索索引,然后将其加载到您可以查询的系统中

如果你想要一个大数据存储,你也可以考虑。除了HBase之外,还有许多其他键值或非关系(NoSQL)存储,它们可以很好地处理大数据

正确的答案取决于您正在运行的查询类型。您是否总是运行特定的查询?如果是这样的话,那么键值存储工作得很好;只要选择正确的键。如果您的查询需要像您所说的那样搜索整个数据库,并且每一两个小时只进行一次查询,那么原则上,您可以在配置单元中编写一个简单的“查询”,从HDFS存储中读取数据


请注意,与RDBMS或简单的
grep
相比,在Hive中进行查询只会在您拥有大量数据并可以访问适当大小的集群时节省时间。如果您只有一台机器,那么它不是一个解决方案。

Hadoop在分布式系统上工作得更好。此外,1TB不是大数据,因此您的关系数据库将完成这项工作。 当您必须处理100 TB或更多的数据时,hadoop的真正威力就来了。。关系数据库失败的地方


如果查看Hbase,它速度很快,但不能替代MySQL或Oracle。

Hadoop不是关系数据库的“顶层”。感谢Ray的快速响应。我们还有其他查询,除了1个查询之外,我不需要查询整个数据库(btb此1查询syntx保持不变,值可能会从“$100”更改为“$50”)我的mongoDB大小可能会增加到40TB,甚至更多,但小于100TB。因此我计划根据大小拆分数据库。例如,每个实例5或10TB。基于此数据..你有何建议?谢谢,请参考我对Ray的回复并回复。