Google bigquery BQ中的转义分隔符

Google bigquery BQ中的转义分隔符,google-bigquery,delimiter,Google Bigquery,Delimiter,我有大量文件以|分隔,但是字段中也有|作为值。数据中的|已用\转义,但我不认为BQ正在拾取它,这是我不必打开每个文件和更新就能修复的东西吗?有2-3000个文件,并且都是压缩的,所以一个接一个地做是不现实的 将每行作为整行读取(CSV,带有奇怪的字符分隔符) 在BigQuery中解析-通过正则表达式或JavaScript UDF 我在这里描述了一种类似的方法: 您可以指定一个不显示在数据中的分隔符吗?然后在表上运行查询以使用查询拆分字段。我不介意这样做,通常我会这样做,但我有1000多个压缩

我有大量文件以|分隔,但是字段中也有|作为值。数据中的|已用\转义,但我不认为BQ正在拾取它,这是我不必打开每个文件和更新就能修复的东西吗?有2-3000个文件,并且都是压缩的,所以一个接一个地做是不现实的

  • 将每行作为整行读取(CSV,带有奇怪的字符分隔符)
  • 在BigQuery中解析-通过正则表达式或JavaScript UDF
  • 我在这里描述了一种类似的方法:


    您可以指定一个不显示在数据中的分隔符吗?然后在表上运行查询以使用查询拆分字段。我不介意这样做,通常我会这样做,但我有1000多个压缩文件,我必须解压缩每个文件,进行编辑,然后加载,我没有空间,也没有时间。不,您将加载所有文件而不修改它们,只需指定一个不同的分隔符,这样BigQuery就可以将它们加载到一个具有单个字符串列的表中。我在这里很傻,但那又怎么样?然后运行一个查询,将字符串拆分为单独的列,并将结果写入表中。如果您提供数据格式的示例,我们可以帮助开发查询。