Hadoop Sqoop将所有数据类型映射为字符串
我正在使用AmazonEMR将表从oracle导入s3目录。文件将作为avro导入,Sqoop将所有列作为字符串导出avsc文件。Hadoop Sqoop将所有数据类型映射为字符串,hadoop,sqoop,avro,amazon-emr,Hadoop,Sqoop,Avro,Amazon Emr,我正在使用AmazonEMR将表从oracle导入s3目录。文件将作为avro导入,Sqoop将所有列作为字符串导出avsc文件。 有人知道如何将Sqoop映射到正确的数据类型吗 使用--map column java映射到适当的数据类型。对于配置单元,您可以使用--map column-hive,但是sqoop不应该自动映射字段吗?它会的。但要获得所需的映射,我们需要使用这些命令使其显式映射。如果您好奇,请下载源代码并检查映射是如何完成的。[首先,非常感谢您的帮助。我已经在使用GN--map
有人知道如何将Sqoop映射到正确的数据类型吗 使用
--map column java
映射到适当的数据类型。对于配置单元,您可以使用--map column-hive
,但是sqoop不应该自动映射字段吗?它会的。但要获得所需的映射,我们需要使用这些命令使其显式映射。如果您好奇,请下载源代码并检查映射是如何完成的。[首先,非常感谢您的帮助。我已经在使用GN--map column java和日期列,这些列将被转换为long以转换为string,但是所有其他列(NUMBER,VARCHAR2)也将被转换为string,它们都将作为string(255)使用.我使用的是avro数据文件和ORAOOP,我只想将日期类型转换为字符串,所有其他类型都自动转换。