Google bigquery 无法在数据准备的列中的值中转义逗号

Google bigquery 无法在数据准备的列中的值中转义逗号,google-bigquery,google-cloud-dataprep,Google Bigquery,Google Cloud Dataprep,我正在将一个逗号分隔的文件导入dataprep,以加载到BigQuery中,不幸的是,其中一列中有一个逗号,在文件拆分为列之前,我似乎无法删除它。我已将原始格式的数据导入dataprep,但似乎仍无法使其正常工作。一种可能是在将csv文件加载到dataprep之前执行此操作。如果在Google Sheets中有这样的文件: 并将其另存为csv文件。包含逗号的字段用双引号括起来: a,b,c,d 12,quick,test,"field with, comma" 23,just,testing,"

我正在将一个逗号分隔的文件导入dataprep,以加载到BigQuery中,不幸的是,其中一列中有一个逗号,在文件拆分为列之前,我似乎无法删除它。我已将原始格式的数据导入dataprep,但似乎仍无法使其正常工作。

一种可能是在将csv文件加载到dataprep之前执行此操作。如果在Google Sheets中有这样的文件:

并将其另存为csv文件。包含逗号的字段用双引号括起来:

a,b,c,d
12,quick,test,"field with, comma"
23,just,testing,"includes, comma"
4,dummy,data,"this, field"
这将在Dataprep中很好地阅读。您可以使用自己喜欢的语言以编程方式转义这些字段。如果您仍希望在Dataprep中执行此操作,并使用类似于以下内容的csv:

a,b,c,d
12,quick,test,field with, comma
23,just,testing,includes, comma
4,dummy,data,this, field
您可以导入数据集,而不选择自动检测结构选项raw format,就像您已经做的那样。当您将其分解为一个新的流时,您将在右侧看到导入步骤。在这种情况下,单击第二步上的铅笔图标进行编辑:

并选择要将函数应用于的列:

在本例中,我将匹配的数量减少到了3个,但是您可以根据用例使用忽略大小写。输出为:


如果引号内有逗号,则应保留该逗号。您看到了什么错误消息?不幸的是,它不在引号内。我没有看到任何错误,它加载了数据,但是数据都被移动到了一列上,在行中使用了有问题的逗号。多亏了这一点,我之前无法回答。由于文件太大,我无法执行上述操作。最后将其加载到dataproc并从那里直接运行到bigquery。Dataprep出现了一些问题,因为一旦您将日期字段设置为某个值,它似乎会再次编辑日期字段。