将Cloudera Connector for Teradata与Sqoop一起使用时出现问题

将Cloudera Connector for Teradata与Sqoop一起使用时出现问题,teradata,cloudera,sqoop,Teradata,Cloudera,Sqoop,我们正在开发一个将配置单元表移动到teradata的解决方案,我们正在使用mapr-sqoop1.4.2和cloudera connector for teradata 1.0.5。Mapr版本是M5。 但是,由于一些表从Hadoop导出到Teradata只需15-20分钟,而其他表则需要3-4小时,因此性能波动很大。 所有表的记录数和文件大小都相同,用作teradata主索引的列的唯一值数也相同。 没有歪斜 客户端提出的问题是cloudera connector 1.0.5是否实际使用FAST

我们正在开发一个将配置单元表移动到teradata的解决方案,我们正在使用mapr-sqoop1.4.2和cloudera connector for teradata 1.0.5。Mapr版本是M5。 但是,由于一些表从Hadoop导出到Teradata只需15-20分钟,而其他表则需要3-4小时,因此性能波动很大。 所有表的记录数和文件大小都相同,用作teradata主索引的列的唯一值数也相同。 没有歪斜

客户端提出的问题是cloudera connector 1.0.5是否实际使用FASTLOAD。已传输的数据显示为 在DBQL tableTeradata中插入似乎未使用FASTLOAD的语句


那么,我如何确保导出实际上使用的是FASTLOAD呢?

Cloudera连接器是Hadoop Teradata连接器的包装器。尝试直接使用Teradata的连接器来比较性能:

您的Teradata DBA应该能够从Teradata的视点工具的历史记录中告诉您在导出过程中是否使用了FastLoad