Amazon s3 从RDS到S3副本的模板上的数据管道错误

Amazon s3 从RDS到S3副本的模板上的数据管道错误,amazon-s3,amazon-rds,amazon-data-pipeline,Amazon S3,Amazon Rds,Amazon Data Pipeline,我正在使用该模板进行复制。在“S3”数据节点中,我配置了自定义格式,因为我的列数据包含“逗号” 我使用的自定义数据格式具有以下属性 “列分隔符”是管道(“|”)而记录分隔符是“\n” 当我运行管道时,数据不会加载到S3中,并给出以下错误 复制记录时出错\n原因:java.lang.reflect.InvocationTargetException\n原因:null\n原因:必须以记录格式定义引号字符 任何人都面临此问题。AWS数据管道中的“自定义”格式类型下未显示“转义字符”选项 您可以使用“T

我正在使用该模板进行复制。在“S3”数据节点中,我配置了自定义格式,因为我的列数据包含“逗号”

我使用的自定义数据格式具有以下属性

“列分隔符”是管道(“|”)而记录分隔符是“\n”

当我运行管道时,数据不会加载到S3中,并给出以下错误

复制记录时出错\n原因:java.lang.reflect.InvocationTargetException\n原因:null\n原因:必须以记录格式定义引号字符

任何人都面临此问题。

AWS数据管道中的“自定义”格式类型下未显示“转义字符”选项

您可以使用“TSV”类型作为自定义格式类型,并提供:

  • “柱分离器”作为管道(|)
  • “记录分隔符”作为新行(\n)
  • “转义字符”作为反斜杠(\)或任何其他您想要的字符
AWS数据管道中的“自定义”格式类型下未显示“转义字符”选项

您可以使用“TSV”类型作为自定义格式类型,并提供:

  • “柱分离器”作为管道(|)
  • “记录分隔符”作为新行(\n)
  • “转义字符”作为反斜杠(\)或任何其他您想要的字符

如果您使用Aurora作为源数据库,我建议您使用command。否则,请使用EMR构建您自己的源数据库(hive和sqoop项目将帮助您实现这一点)。

如果您使用Aurora作为源数据库,我建议您使用command。否则,请使用EMR构建您自己的源数据库(hive和sqoop项目将帮助您实现这一点)