Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop Apache Drill应用程序执行时间过长_Hadoop_Apache Drill - Fatal编程技术网

Hadoop Apache Drill应用程序执行时间过长

Hadoop Apache Drill应用程序执行时间过长,hadoop,apache-drill,Hadoop,Apache Drill,我在HBase中存储数据,它有350万条记录。我使用ApacheDrillJava应用程序来查询这个hbase数据,但简单的查询需要3分钟才能完成 我分配了drill_direct_memory=10GB和drill_heap=8GB。如何获得快速查询性能?我是否错过了为获得更好的性能而必须进行的任何配置或更改 这是我的示例查询: 选择CONVERT_FROM(row_key,'UTF8')作为row_key,选择CONVERT_FROM(social_data_nlp.details.user

我在HBase中存储数据,它有350万条记录。我使用ApacheDrillJava应用程序来查询这个hbase数据,但简单的查询需要3分钟才能完成

我分配了drill_direct_memory=10GB和drill_heap=8GB。如何获得快速查询性能?我是否错过了为获得更好的性能而必须进行的任何配置或更改

这是我的示例查询:

选择CONVERT_FROM(row_key,'UTF8')作为row_key,选择CONVERT_FROM(social_data_nlp.details.user_name,'UTF8')作为用户名,
从hbase.social\u data\u nlp WHERE CAST(social\u data\u nlp.details.created\u time AS TIMESTAMP)到创建的\u CHAR(CAST(社会数据\u nlp.details.created\u time AS TIMESTAMP),'yyyyy:MM:dd HH:MM:ss'),其中CAST(社会数据\u nlp.details.created\u time AS date)>日期(当前日期,1)和(social_data_nlp.details.searched_关键字='fire'或social_data_nlp.details.searched_关键字='Confect'或social_data_nlp.details.searched_关键字='karnataka'或social_data_nlp.details.user_name='aajtak')和CAST(social_data_nlp.details.keyword搜索为布尔值)=true ORDER BY social_data_nlp.details.created_time DESC LIMIT 100 OFFSET 0;

您可以设置一个计时器来测量hbase获取行所需的时间,计算并显示这些行。如果您的数据库很长,这是apache所需的正常时间。我的数据库有3500万条记录,按查询的钻取顺序需要170秒才能完成。您能请建议我如何改进。这是一个关于如何优化的链接,如果你已经这样做了,那么花这么长时间是正常的。除此之外,任何人都有任何想法,请与我分享。请与我分享一个你正在查询的“简单查询”示例。