Amazon web services 使用DataPipeline将DynamoDB备份到s3

我正在试着设置一条管道来备份DynamoDB 我差点就明白了。。。 我没有默认的专有网络，我无法更改

备份任务无法找到我正在使用的区域 在syslog中，我收到以下错误：

2016-04-11 08:53:32444警告org.apache.hadoop.dynamodb.DynamoDBUtil （主）：尝试获取AWS区域信息时出现异常。意志 忽略并默认为us-east-1

这将导致在标准中：

线程“main”java.lang.RuntimeException中出现异常：无法 DynamoDB中的查找表dev_user

我的管道定义的一部分：

{
  "objects": [
    {
      "output": {
        "ref": "S3BackupLocation"
      },
      "input": {
        "ref": "DDBSourceTable"
      },
      "maximumRetries": "2",
      "name": "TableBackupActivity",
      "step": "s3://dynamodb-emr-#{myDDBRegion}/emr-ddb-storage-handler/2.1.0/emr-ddb-2.1.0.jar,org.apache.hadoop.dynamodb.tools.DynamoDbExport,#{output.directoryPath},#{input.tableName},#{input.readThroughputPercent}",
      "id": "TableBackupActivity",
      "runsOn": {
        "ref": "EmrClusterForBackup"
      },
      "type": "EmrActivity",
      "resizeClusterBeforeRunning": "true"
    },
...
    {
...
      "coreInstanceCount": "1",
      "releaseLabel": "emr-4.5.0",
      "masterInstanceType": "m3.xlarge",
      "type": "EmrCluster",
      "terminateAfter": "1 Hour",
      "name": "EmrClusterForBackup",
      "coreInstanceType": "m3.xlarge",
      "id": "EmrClusterForBackup",
      "region": "eu-west-1"
    },
    {
      "readThroughputPercent": "#{myDDBReadThroughputRatio}",
      "name": "DDBSourceTable",
      "id": "DDBSourceTable",
      "type": "DynamoDBDataNode",
      "region": "eu-west-1",
      "tableName": "dev_user"
    }
  ],
  "parameters": [
...
    {
      "default": "eu-west-1",
      "watermark": "eu-west-1",
      "description": "Region of the DynamoDB table",
      "id": "myDDBRegion",
      "type": "String"
    }
  ],
  "values": {
    "myDDBRegion": "eu-west-1",
    "myDDBTableName": "dev_user",
    "myDDBReadThroughputRatio": "0.25",
...
  }
}

---

我可以获取您的管道ID吗

您还可以在运行之前将ResizeClusterBefore指定为“false”，然后重试

---

谢谢

AWS中有一个bug，无法使其在专用子网中工作。

---

要使用管道进行dynamodb备份，必须在公共子网中进行设置

ID=df-1032751PQF9X1MM1G3X为什么调整大小会改变任何东西？无论如何，我试过了，但没有成功。仍然无法为EMRACIVITY设置正确的区域。我不确定是什么导致此问题。您是否可以尝试使用旧版本的发布标签集群，或者使用数据管道模板将DDB导出到s3，s3使用AMI版本集群。我试过使用数据管道模板，它对我来说很好。