Jdbc 连接到Datastage的Impala连接器

Jdbc 连接到Datastage的Impala连接器,jdbc,odbc,impala,datastage,ibm-infosphere,Jdbc,Odbc,Impala,Datastage,Ibm Infosphere,我希望获得有关此场景的帮助: 我使用的是DataStage11.7 我发现黑斑羚连接器在从hadoop lake提取数据作为源时出现性能问题,一些作业提取的记录数超过100米,平均时间>1小时 我需要找到一种方法,将记录数减少到15米,或者如果可能的话减少到15米,并且将执行时间减少到20分钟以下 解决这种情况的最佳方法或解决方案是什么?您可以在hvie/impala中完成所有datastage ETL。然后将结果提取到Datastage目标中。ODBC可能会很慢,这取决于多种因素。

我希望获得有关此场景的帮助:

我使用的是DataStage11.7 我发现黑斑羚连接器在从hadoop lake提取数据作为源时出现性能问题,一些作业提取的记录数超过100米,平均时间>1小时

我需要找到一种方法,将记录数减少到15米,或者如果可能的话减少到15米,并且将执行时间减少到20分钟以下


解决这种情况的最佳方法或解决方案是什么?

您可以在hvie/impala中完成所有datastage ETL。然后将结果提取到Datastage目标中。ODBC可能会很慢,这取决于多种因素。