Performance ApacheIgnite与ApacheDrill for SQL的性能对比

Performance ApacheIgnite与ApacheDrill for SQL的性能对比,performance,hadoop,ignite,apache-drill,Performance,Hadoop,Ignite,Apache Drill,我需要从一些大型MySQL表中获取数据,以便能够显示在仪表板/web门户上。我的重点主要是在给定数据集大小的情况下提高SQL性能 另外,考虑到Ignite使用RAM作为主要数据源,ApacheIgnite的可扩展性是否比ApacheDrill差 请让我知道的情况下,更多的细节是必要的 我已通过以下链接: 在IGFS下面使用可选的HDFS层是否会将系统性能降低到SparkSQL级别? 另外,考虑到Ignite使用RAM作为主要数据源,ApacheIgnite的可扩展性是否比ApacheDril

我需要从一些大型MySQL表中获取数据,以便能够显示在仪表板/web门户上。我的重点主要是在给定数据集大小的情况下提高SQL性能

另外,考虑到Ignite使用RAM作为主要数据源,ApacheIgnite的可扩展性是否比ApacheDrill差

请让我知道的情况下,更多的细节是必要的

我已通过以下链接:

在IGFS下面使用可选的HDFS层是否会将系统性能降低到SparkSQL级别?

另外,考虑到Ignite使用RAM作为主要数据源,ApacheIgnite的可扩展性是否比ApacheDrill差

在内存中存储数据实际上可以更好地扩展。我对Drill了解不多,也无法进行比较,但Ignite非常注重可伸缩性和可伸缩性

在IGFS下面使用可选的HDFS层是否会将系统性能降低到SparkSQL级别

如果将HDFS用作辅助文件系统,则仅当请求的数据尚未存储在内存中时,才会对其进行访问。因此,如果使用得当,它不会让你慢下来

请注意,Ignite提供了非常丰富的SQL功能[1]。您只需在内存中加载数据,即可运行符合ANSI-99标准的查询并进行快速索引搜索。例如,SparkSQL根本不支持任何索引,这使得它在许多情况下速度要慢得多(至少就我所知)


[1] Drill只是一个主要用于NoSQL数据库的SQL查询引擎。由于内存处理,它的性能与hive和许多NOSQL数据库相比是好的

检查查询执行在Drill-中的工作方式

可伸缩性

ApacheDrill具有高度可扩展性,无需担心这一点

你无法在理论上比较两种重叠的工具我建议您在这两个工具上进行POC,获取一些MySQL样本数据。性能在很大程度上取决于您的用例


Drill最适合查询复杂的JSON文件(因为它的列式布局)和解决polyglot用例(跨多个数据存储执行连接)。

这很有帮助。另外,你能给我指一些正确使用HDFS作为辅助文件系统的教程吗?