Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon s3 使用INSERT into SELECT将数据插入配置单元S3外部表会覆盖文件_Amazon S3_Hive - Fatal编程技术网

Amazon s3 使用INSERT into SELECT将数据插入配置单元S3外部表会覆盖文件

Amazon s3 使用INSERT into SELECT将数据插入配置单元S3外部表会覆盖文件,amazon-s3,hive,Amazon S3,Hive,我有一个指向S3位置的外部表(tbl_external) 我试图使用另一个不是外部表的表(tbl_test)将数据插入外部表 insert into tbl_external select * from tbl_test; 但是当我运行上面的insert语句时,配置单元总是生成一个具有相同文件名(000000\u 0)的文件。结果,文件被覆盖,当我多次运行insert语句时,S3位置总是有一个文件而不是多个文件 如何使配置单元生成不同的文件名?(例如000000\u复制\u 1,000000\

我有一个指向S3位置的外部表(
tbl_external

我试图使用另一个不是外部表的表(
tbl_test
)将数据插入外部表

insert into tbl_external select * from tbl_test;
但是当我运行上面的insert语句时,配置单元总是生成一个具有相同文件名(
000000\u 0
)的文件。结果,文件被覆盖,当我多次运行insert语句时,S3位置总是有一个文件而不是多个文件

如何使配置单元生成不同的文件名?(例如
000000\u复制\u 1
000000\u复制\u 2
等)

我们在开发环境中没有这个问题,我们只在Prod中面临这个问题

  • 开发单元版本为
    1.2.1.2.3.6.0-3796
  • 产品配置单元版本为
    1.2.1000.2.5.3.0-37

您是使用Amazon EMR还是自己在EC2上安装Hadoop?@JohnRotenstein我在EC2实例上安装Hadoop