Hive 使用HCatalog访问HAWQ/PXF上的蜂巢数据

Hive 使用HCatalog访问HAWQ/PXF上的蜂巢数据,hive,hortonworks-data-platform,ambari,hcatalog,hawq,Hive,Hortonworks Data Platform,Ambari,Hcatalog,Hawq,我已经用ambari服务配置了Hortonworks HDP,之后我添加了HAWQ和PXF。通过一些研究,我发现可以通过HCatalog查询存储在Hive中的数据,而且由于我已经将数据集加载到Hive中,这将很容易完成工作,但我正在进行一些基准测试,有人能告诉我HCatalog的使用是否会影响HAWQ的性能吗 当HAWQ使用HCatalog集成访问PXF表时,它会确定基础表甚至分区的格式,并使用针对该特定格式优化的配置文件,因此不会出现性能下降。要补充Oleksandr的观点,当HAWQ查询HC

我已经用ambari服务配置了Hortonworks HDP,之后我添加了HAWQ和PXF。通过一些研究,我发现可以通过HCatalog查询存储在Hive中的数据,而且由于我已经将数据集加载到Hive中,这将很容易完成工作,但我正在进行一些基准测试,有人能告诉我HCatalog的使用是否会影响HAWQ的性能吗

当HAWQ使用HCatalog集成访问PXF表时,它会确定基础表甚至分区的格式,并使用针对该特定格式优化的配置文件,因此不会出现性能下降。

要补充Oleksandr的观点,当HAWQ查询HCatalog时,即使配置单元目录数据也只存储在内存中,而不存储在HAWQ中的磁盘上,而不会与本机HAWQ表发生任何争用。也就是说,外部hcatalog查询的性能不如本地HAWQ查询。

使用存储在配置单元中的表要比使用本地HAWQ表慢得多。使用PXF功能将数据从慢速配置单元传输到快速HAWQ: