Hive 如何在从源导入时验证配置单元HQL中的数据

Hive 如何在从源导入时验证配置单元HQL中的数据,hive,Hive,请解释如何在从配置单元表中的源导入数据时进行验证,例如,如果某些数据已损坏(假定不会导入),则将验证放入大量数据中,因此如何丢弃该数据。您需要开发ETL过程,并制定丢弃损坏数据的策略。您可以使用Informatica big data edition、Talend等第三方工具,也可以开发自定义代码。这是一项重大努力

请解释如何在从配置单元表中的源导入数据时进行验证,例如,如果某些数据已损坏(假定不会导入),则将验证放入大量数据中,因此如何丢弃该数据。

您需要开发ETL过程,并制定丢弃损坏数据的策略。您可以使用Informatica big data edition、Talend等第三方工具,也可以开发自定义代码。这是一项重大努力