Hadoop 带emrfs的蜂巢
我正在使用sqoop将表从AmazonRDS导入配置单元。进程正在运行,数据存储在配置单元默认hdfs目录:/user/hive/warehouse中 我需要将存储位置从hdfs更改为emrfs s3 据我所知,我需要将hive.metastore.warehouse.dir属性的值(在主节点的hive-site.xml中)更改为s3//bucket/warehouse位置。似乎我没有修改文件hive-site.xml的权限 我正在寻找一些关于如何最好地做这件事的建议Hadoop 带emrfs的蜂巢,hadoop,hive,amazon-emr,Hadoop,Hive,Amazon Emr,我正在使用sqoop将表从AmazonRDS导入配置单元。进程正在运行,数据存储在配置单元默认hdfs目录:/user/hive/warehouse中 我需要将存储位置从hdfs更改为emrfs s3 据我所知,我需要将hive.metastore.warehouse.dir属性的值(在主节点的hive-site.xml中)更改为s3//bucket/warehouse位置。似乎我没有修改文件hive-site.xml的权限 我正在寻找一些关于如何最好地做这件事的建议 Sudi您需要sudo权限
Sudi您需要sudo权限来修改主节点上的hive-site.xml文件(通常位于/etc/hive/conf/hive-site.xml中) 如果这不是一个选项,请在启动群集之前尝试设置此属性。云形成的一个例子:
"Configurations" : [
{
"Classification" : "hive-site",
"ConfigurationProperties" : {
"hive.metastore.warehouse.dir" : "s3://your_s3_bucket/hive_warehouse/",
}
}
],
或通过“编辑软件设置”部分中的EMR对话
或
更改为root用户。
sudo vi /etc/hive/conf/hive-site
sudo -su root
vi /etc/hive/conf/hive-site.xml