Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/database/8.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/4/sql-server-2008/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
使用Hadoop作为MySQL存储引擎?_Mysql_Database_Hadoop_Hdfs - Fatal编程技术网

使用Hadoop作为MySQL存储引擎?

使用Hadoop作为MySQL存储引擎?,mysql,database,hadoop,hdfs,Mysql,Database,Hadoop,Hdfs,除了使用配置单元之外,对于SQL程序员来说,在HDFS上执行大规模日志数据的即席查询是一个好主意吗 有类似的开源实现吗?从技术上讲,实现起来应该没有那么复杂。我发现NoSQL引擎在性能方面的行为与MySQL引擎对存储引擎的期望有着根本的不同,这是一个概念性的问题。具体来说,它们具有良好的随机访问能力,在全范围或全范围扫描中效率不高。问题是有可能将所有这些成本转化为优化器。它适用于任何RDBMS引擎。实际上,它们中的许多都有可插拔存储引擎的概念,并且具有不同级别的灵活性/文档 我认为,要使这种集成

除了使用配置单元之外,对于SQL程序员来说,在HDFS上执行大规模日志数据的即席查询是一个好主意吗


有类似的开源实现吗?

从技术上讲,实现起来应该没有那么复杂。我发现NoSQL引擎在性能方面的行为与MySQL引擎对存储引擎的期望有着根本的不同,这是一个概念性的问题。具体来说,它们具有良好的随机访问能力,在全范围或全范围扫描中效率不高。问题是有可能将所有这些成本转化为优化器。它适用于任何RDBMS引擎。实际上,它们中的许多都有可插拔存储引擎的概念,并且具有不同级别的灵活性/文档
我认为,要使这种集成高效,我们需要能够将谓词下推到NoSQL引擎,以进行全范围扫描。我不能100%确定MySQL在存储引擎接口级别是否支持它

我看到这种方法的另一个严重问题是,MySQL没有并行查询,因此对于处理大数据来说不太好。

我在2014年搜索了这个问题,发现了它,并对它进行了分析。它集成了hadoop和mysql。它提供了对hadoop存储的数据的本机mysql协议访问

我没有读过太多关于它的文章,但它的兼容性(与现有的mysql应用程序)和性能(与经过良好调优的索引和数据分区相比)对我来说是有问题的

但它可能是实现高可用性的最简单的解决方案,因为它具有非常大的数据集,无法装入几个磁盘。(使用HDFS内置复制,不需要SAN或RAID)

顺便说一句,Infinidb网站目前受到Heartbleed bug的影响。我想知道他们的产品是否在5个月前就已经安全了。

InfiniDB(又名Calpont)在您的帖子发布之日就已经停业了。MariaDB(该公司前身为SkySQL)目前正在提供支持(以及理论上的未来发展)。