Amazon redshift 在matillion for csv文件中创建带逗号引号的频谱表
我有一个使用matillion创建红移光谱表的场景。 我的CSV文件数据如下所示:-Amazon redshift 在matillion for csv文件中创建带逗号引号的频谱表,amazon-redshift,amazon-redshift-spectrum,matillion,Amazon Redshift,Amazon Redshift Spectrum,Matillion,我有一个使用matillion创建红移光谱表的场景。 我的CSV文件数据如下所示:- column1,column2,column3 abc,"qwety,pqr",xyz 但在频谱表中,我看到了数据 作为 Matillion没有将引号值作为一个值。 您能否建议如何使用matillion的外部表组件实现此目的。基本上,您希望为CSV数据指定一个报价参数 Redshift有两种指定外部表的方法(请参阅): 使用默认的内置序列号和属性,如以行格式分隔的,字段以 使用行格式SerDe显式指定Ser
column1,column2,column3
abc,"qwety,pqr",xyz
但在频谱表中,我看到了数据
作为
Matillion没有将引号值作为一个值。
您能否建议如何使用matillion的外部表组件实现此目的。基本上,您希望为CSV数据指定一个报价参数 Redshift有两种指定外部表的方法(请参阅):
- 使用默认的内置序列号和属性,如以行格式分隔的,
字段以
- 使用
显式指定SerDe,使用serdeProperty显式指定行格式SerDe
org.apache.hadoop.hive.serde2.OpenCSVSerde
指定它们(有关其属性的详细信息),但请注意,它存在已知问题,如中所述
现在为美帝利昂公司:
我从未使用过Matillion,但查看它们的,看起来只能指定格式和字段终止符,而不能指定SerDe及其属性,因此,无法为外部表指定quote参数——除非有一些未记录的方法来指定自定义SerDe
个人说明:
我们在接收存储为CSV的数据时遇到了很多问题,我们基本上是尽量避免这样做的。CSV没有标准,每个工具都实现了自己版本的支持,很难说服所有工具以相同的方式查看数据 基本上,您希望为CSV数据指定一个报价参数
Redshift有两种指定外部表的方法(请参阅):
- 使用默认的内置序列号和属性,如以
行格式分隔的
,字段以
行格式SerDe
显式指定SerDe,使用serdeProperty显式指定
org.apache.hadoop.hive.serde2.OpenCSVSerde
指定它们(有关其属性的详细信息),但请注意,它存在已知问题,如中所述
现在为美帝利昂公司:
我从未使用过Matillion,但查看它们的,看起来只能指定格式和字段终止符,而不能指定SerDe及其属性,因此,无法为外部表指定quote参数——除非有一些未记录的方法来指定自定义SerDe
个人说明:
我们在接收存储为CSV的数据时遇到了很多问题,我们基本上是尽量避免这样做的。CSV没有标准,每个工具都实现了自己版本的支持,很难说服所有工具以相同的方式查看数据
column1 column2 column3
abc qwerty pqr