Amazon s3 使用INSERT into SELECT将数据插入配置单元S3外部表会覆盖文件
我有一个指向S3位置的外部表(Amazon s3 使用INSERT into SELECT将数据插入配置单元S3外部表会覆盖文件,amazon-s3,hive,Amazon S3,Hive,我有一个指向S3位置的外部表(tbl_external) 我试图使用另一个不是外部表的表(tbl_test)将数据插入外部表 insert into tbl_external select * from tbl_test; 但是当我运行上面的insert语句时,配置单元总是生成一个具有相同文件名(000000\u 0)的文件。结果,文件被覆盖,当我多次运行insert语句时,S3位置总是有一个文件而不是多个文件 如何使配置单元生成不同的文件名?(例如000000\u复制\u 1,000000\
tbl_external
)
我试图使用另一个不是外部表的表(tbl_test
)将数据插入外部表
insert into tbl_external select * from tbl_test;
但是当我运行上面的insert语句时,配置单元总是生成一个具有相同文件名(000000\u 0
)的文件。结果,文件被覆盖,当我多次运行insert语句时,S3位置总是有一个文件而不是多个文件
如何使配置单元生成不同的文件名?(例如000000\u复制\u 1
,000000\u复制\u 2
等)
我们在开发环境中没有这个问题,我们只在Prod中面临这个问题
- 开发单元版本为
1.2.1.2.3.6.0-3796
- 产品配置单元版本为
1.2.1000.2.5.3.0-37