Hadoop 带emrfs的蜂巢

Hadoop 带emrfs的蜂巢,hadoop,hive,amazon-emr,Hadoop,Hive,Amazon Emr,我正在使用sqoop将表从AmazonRDS导入配置单元。进程正在运行,数据存储在配置单元默认hdfs目录:/user/hive/warehouse中 我需要将存储位置从hdfs更改为emrfs s3 据我所知,我需要将hive.metastore.warehouse.dir属性的值(在主节点的hive-site.xml中)更改为s3//bucket/warehouse位置。似乎我没有修改文件hive-site.xml的权限 我正在寻找一些关于如何最好地做这件事的建议 Sudi您需要sudo权限

我正在使用sqoop将表从AmazonRDS导入配置单元。进程正在运行,数据存储在配置单元默认hdfs目录:/user/hive/warehouse中

我需要将存储位置从hdfs更改为emrfs s3

据我所知,我需要将hive.metastore.warehouse.dir属性的值(在主节点的hive-site.xml中)更改为s3//bucket/warehouse位置。似乎我没有修改文件hive-site.xml的权限

我正在寻找一些关于如何最好地做这件事的建议


Sudi

您需要sudo权限来修改主节点上的hive-site.xml文件(通常位于/etc/hive/conf/hive-site.xml中)

如果这不是一个选项,请在启动群集之前尝试设置此属性。云形成的一个例子:

                "Configurations" : [
                {
                    "Classification" : "hive-site",
                    "ConfigurationProperties" : {
                        "hive.metastore.warehouse.dir" : "s3://your_s3_bucket/hive_warehouse/",
                    }
                }
            ],
或通过“编辑软件设置”部分中的EMR对话


更改为root用户。
sudo vi /etc/hive/conf/hive-site
sudo -su root
vi /etc/hive/conf/hive-site.xml