Pyspark 带分离器的分离式Pypspark柱
我想用一个点分隔我的Pyspark列。该列是在我从HDFS读取CSV文件时创建的。我使用了下面的代码块Pyspark 带分离器的分离式Pypspark柱,pyspark,apache-spark-sql,Pyspark,Apache Spark Sql,我想用一个点分隔我的Pyspark列。该列是在我从HDFS读取CSV文件时创建的。我使用了下面的代码块 from pyspark.sql import functions as F split_col = F.split(df['File_ID'], '.') df = df.withColumn('File_ID', split_col.getItem(0)) \ .withColumn('csv', split_col.getItem(1)) \ df.show
from pyspark.sql import functions as F
split_col = F.split(df['File_ID'], '.')
df = df.withColumn('File_ID', split_col.getItem(0)) \
.withColumn('csv', split_col.getItem(1)) \
df.show(truncate=False)
我犯了一个错误,比如
TypeError: 'Column' object is not callable
我怎样才能解决它?有什么建议吗?您的代码看起来不完整,您能提供更好的建议吗?如果你能给我们展示一个小样本数据,那会更容易。最后,
split
的第二个参数是regex,因此如果要按点分割,那么它应该是F.split(df['File\u ID','\.')