Amazon redshift 在matillion for csv文件中创建带逗号引号的频谱表

Amazon redshift 在matillion for csv文件中创建带逗号引号的频谱表,amazon-redshift,amazon-redshift-spectrum,matillion,Amazon Redshift,Amazon Redshift Spectrum,Matillion,我有一个使用matillion创建红移光谱表的场景。 我的CSV文件数据如下所示:- column1,column2,column3 abc,"qwety,pqr",xyz 但在频谱表中,我看到了数据 作为 Matillion没有将引号值作为一个值。 您能否建议如何使用matillion的外部表组件实现此目的。基本上,您希望为CSV数据指定一个报价参数 Redshift有两种指定外部表的方法(请参阅): 使用默认的内置序列号和属性,如以行格式分隔的,字段以 使用行格式SerDe显式指定Ser

我有一个使用matillion创建红移光谱表的场景。 我的CSV文件数据如下所示:-

column1,column2,column3
abc,"qwety,pqr",xyz
但在频谱表中,我看到了数据 作为

Matillion没有将引号值作为一个值。
您能否建议如何使用matillion的外部表组件实现此目的。

基本上,您希望为CSV数据指定一个报价参数

Redshift有两种指定外部表的方法(请参阅):

  • 使用默认的内置序列号和属性,如以行格式分隔的,
    字段以
  • 使用
    行格式SerDe
    显式指定SerDe,使用serdeProperty显式指定
我认为不可能使用内置的SerDes指定quote参数

可以使用
org.apache.hadoop.hive.serde2.OpenCSVSerde
指定它们(有关其属性的详细信息),但请注意,它存在已知问题,如中所述

现在为美帝利昂公司

我从未使用过Matillion,但查看它们的,看起来只能指定
格式和
字段终止符,而不能指定SerDe及其属性,因此,无法为外部表指定quote参数——除非有一些未记录的方法来指定自定义SerDe

个人说明:
我们在接收存储为CSV的数据时遇到了很多问题,我们基本上是尽量避免这样做的。CSV没有标准,每个工具都实现了自己版本的支持,很难说服所有工具以相同的方式查看数据

基本上,您希望为CSV数据指定一个报价参数

Redshift有两种指定外部表的方法(请参阅):

  • 使用默认的内置序列号和属性,如以
行格式分隔的
字段以
  • 使用
    行格式SerDe
    显式指定SerDe,使用serdeProperty显式指定
  • 我认为不可能使用内置的SerDes指定quote参数

    可以使用
    org.apache.hadoop.hive.serde2.OpenCSVSerde
    指定它们(有关其属性的详细信息),但请注意,它存在已知问题,如中所述

    现在为美帝利昂公司

    我从未使用过Matillion,但查看它们的,看起来只能指定
    格式和
    字段终止符,而不能指定SerDe及其属性,因此,无法为外部表指定quote参数——除非有一些未记录的方法来指定自定义SerDe

    个人说明: 我们在接收存储为CSV的数据时遇到了很多问题,我们基本上是尽量避免这样做的。CSV没有标准,每个工具都实现了自己版本的支持,很难说服所有工具以相同的方式查看数据

    column1 column2 column3
    abc qwerty pqr