Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/amazon-web-services/13.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services 插入具有特殊字符(如\\n")的数据时出现获取问题';使用COPY命令从s3到springboot项目的红移_Amazon Web Services_Spring Boot_Amazon S3_Amazon Redshift - Fatal编程技术网

Amazon web services 插入具有特殊字符(如\\n")的数据时出现获取问题';使用COPY命令从s3到springboot项目的红移

Amazon web services 插入具有特殊字符(如\\n")的数据时出现获取问题';使用COPY命令从s3到springboot项目的红移,amazon-web-services,spring-boot,amazon-s3,amazon-redshift,Amazon Web Services,Spring Boot,Amazon S3,Amazon Redshift,我们使用spring boot开发了基于java的ETL应用程序,在管道中,我们从下游获取数据(调用另一个应用程序端点),我们从输入文件(csv)转换数据,并将转换后的输出文件复制到s3,我们使用如下复制命令将数据从s3插入到红移: COPY schema\u nm.table 1 从's3:///projectNamefolder/output//' 凭证“aws\u iam\u role=arn:aws:iam::12345678:role/” 区域“美国-东部-1” 修剪毛坯 截形柱 接受

我们使用spring boot开发了基于java的ETL应用程序,在管道中,我们从下游获取数据(调用另一个应用程序端点),我们从输入文件(csv)转换数据,并将转换后的输出文件复制到s3,我们使用如下复制命令将数据从s3插入到红移:

COPY schema\u nm.table 1
从's3:///projectNamefolder/output//'
凭证“aws\u iam\u role=arn:aws:iam::12345678:role/”
区域“美国-东部-1”
修剪毛坯
截形柱
接受日期
接受因弗查斯
逃跑
删除引号
空白空白
填充记录
最大误差100
分隔符“”
日期格式“自动”
时间格式“自动”

数据中有一些特殊字符,如\n\“'中的,我们希望这些字符与数据一起插入表中。由于这些字符,记录被删除或拒绝,并转到stl\U load\U errs表。请注意,这些字段是表中的varchar。任何人都可以帮助我们如何确保我们插入了与这些字符一起的数据


尝试使用复制命令中的选项,如ACCEPTINVCHARS、ESCAPE、REMOVEQUOTES,但很不幸记录仍被拒绝。

您能否与遇到问题的列共享一个示例行?(你可以混淆敏感数据)@Yankee,当然,假设我们有描述列,我们的值如下。描述值为0 1 2 3 4 5 6 7 8 9 A B C D E F G H I\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n我们将此值作为管道分隔符存储在aws-s3中的文件中。在s3中,存储此列的文件具有如下内容:(这是错误的,\n被视为下一行,并且不确定为什么在末尾出现双引号。说明值为0 1 2 3 4 5 6 7 8 9 A B C D E F G H I“”“当我试图在本地控制台中打印此描述变量的值时..只是为了检查一下,它打印为:(没有引号,但由于\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n有这么多空行被加起来。)01 2 3 4 5 6 7 8 9 A B C D E F G H I第2行…第3行…第4行…我想要这些字符\n”“'从字面上来说,我们只是被当作简单的文本字符来对待(不是被当作换行符或引号等),我们如何在java中实现这一点。。请帮助。@Yankee,请在一条消息继续时阅读以上所有3条消息,因为我们在评论中没有字符限制,我不得不将其作为3条消息发布。”