Amazon s3 使用sqoop将数据复制到s3时出错_Amazon S3_Sqoop

Amazon s3 使用sqoop将数据复制到s3时出错

amazon-s3

Amazon s3 使用sqoop将数据复制到s3时出错,amazon-s3,sqoop,Amazon S3,Sqoop,我使用sqoop使用以下命令将Postgres表复制到s3 sqoop import -m 1 --connect jdbc:postgresql://xx.us-west-2.rds.amazonaws.com:5432/prod_db --username user_ro --password user_pwd --table content --target-dir s3://test/user/sqoop_test --as-avrodatafile 这是第一次奏效。在下一次执行之前，

我使用sqoop使用以下命令将Postgres表复制到s3

sqoop import -m 1 --connect jdbc:postgresql://xx.us-west-2.rds.amazonaws.com:5432/prod_db --username user_ro --password user_pwd --table content --target-dir s3://test/user/sqoop_test --as-avrodatafile

这是第一次奏效。在下一次执行之前，我使用以下命令删除了目标目录：

aws s3 rm s3://test/user/sqoop_test

下一次执行sqoop将导致以下错误：

18/07/21 05:31:53 ERROR tool.ImportTool: Encountered IOException running import job: com.amazon.ws.emr.hadoop.fs.consistency.exception.ConsistencyException: Directory 'user/sqoop_test' present in the metadata but not s3
at com.amazon.ws.emr.hadoop.fs.consistency.ConsistencyCheckerS3FileSystem.getFileStatus(ConsistencyCheckerS3FileSystem.java:453)
at com.amazon.ws.emr.hadoop.fs.consistency.ConsistencyCheckerS3FileSystem.getFileStatus(ConsistencyCheckerS3FileSystem.java:380)

我也尝试过先执行“emrfs删除…”，然后执行“emrfs导入…”和“emrfs同步…”，但这无助于解决问题。任何帮助都将不胜感激。

元数据指定“auser/sqoop\u test”。这与“测试/用户/sqoop_测试”不匹配。我认为您有路径问题。@JohnHanley很抱歉，在命令和日志输出中发布问题之前，我屏蔽了用户名、密码、主机名、路径等。该目录引用的是user/sqoop_test，而不是我最初发布的auser/sqoop_test。我已经更新了。我无法弄清楚的是——它将元数据保存在哪里，以及如何清除这些元数据。我以为emrfs命令可以做到这一点，但事实并非如此。