Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon s3 直接从S3输入文件运行配置单元查询_Amazon S3_Amazon Web Services_Hive_Elastic Map Reduce - Fatal编程技术网

Amazon s3 直接从S3输入文件运行配置单元查询

Amazon s3 直接从S3输入文件运行配置单元查询,amazon-s3,amazon-web-services,hive,elastic-map-reduce,Amazon S3,Amazon Web Services,Hive,Elastic Map Reduce,我正在使用Elastice Map Reduce中的交互式配置单元会话来运行配置单元。以前我将数据从S3加载到配置单元表中。现在,我想在S3输入文件上运行一些脚本,而不将数据加载到配置单元表中 这可能吗?如果可能,那么如何实现这一点?您可以在S3中对数据运行查询 CREATE EXTERNAL TABLE mydata (key STRING, value INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\n' LOCATION 's3n://m

我正在使用Elastice Map Reduce中的交互式配置单元会话来运行配置单元。以前我将数据从S3加载到配置单元表中。现在,我想在S3输入文件上运行一些脚本,而不将数据加载到配置单元表中


这可能吗?如果可能,那么如何实现这一点?

您可以在S3中对数据运行查询

CREATE EXTERNAL TABLE mydata (key STRING, value INT) ROW FORMAT DELIMITED FIELDS  TERMINATED BY '\n' LOCATION 's3n://mys3bucket/';

或类似的

对于这种类型的“查询”,您可以使用Pig或普通MapReducejobs@guy谢谢你,我发现这是不可能实现的。我尝试将数据复制到表中,但它显示空值。可能我是要清理数据,然后重新加载。