Spark SQL使用whitepsace分隔符读取csv并忽略括号内的空格

Spark SQL使用whitepsace分隔符读取csv并忽略括号内的空格,csv,pyspark,apache-spark-sql,removing-whitespace,Csv,Pyspark,Apache Spark Sql,Removing Whitespace,我正在尝试读取一个文本文件,其行如下: a [b c] "d e" f 除了解析[bc]之外,这段代码工作得很好,它将b和c拆分为单独的列。有没有办法忽略它们之间的空白 display( spark.read.load(file_path, format="csv",sep = ' ', header="false")) 让它分开。。。我想没问题。你可以试试这个 import org.apache.spark.sql.functions.lit df .withColumn("timesta

我正在尝试读取一个文本文件,其行如下:

a [b c] "d e" f
除了解析[bc]之外,这段代码工作得很好,它将b和c拆分为单独的列。有没有办法忽略它们之间的空白

display( spark.read.load(file_path, format="csv",sep = ' ', header="false"))

让它分开。。。我想没问题。你可以试试这个

import org.apache.spark.sql.functions.lit
df
.withColumn("timestamp", concat($"col1", lit(" "),$"col2"))
.withColumn("timestamp", $"timestamp".cast("date"))

其中col1=24/Sep/2014:22:25:44&col2=+0000

很抱歉,编辑后的问题更为一般。但你的答案仍然成立,我认为它解决了我的问题。如果愿意,请更改答案中的列名以匹配问题,谢谢!