pyspark dataframe,如何将字符串列数组中的每个元素转换为LowerCase
我试图在pyspark数据帧中将字符串数组转换为小写 国防军:pyspark dataframe,如何将字符串列数组中的每个元素转换为LowerCase,dataframe,apache-spark,pyspark,Dataframe,Apache Spark,Pyspark,我试图在pyspark数据帧中将字符串数组转换为小写 国防军: text_column_array_of_string [DESK, LAMP, CUP, LAPTOP] 我的代码: def my_lower(col_array): t = [] for x in col_array: t.append(x.lower()) return np.array(t) my_udf = F.udf(my_lower, ArrayType(StringTy
text_column_array_of_string
[DESK, LAMP, CUP, LAPTOP]
我的代码:
def my_lower(col_array):
t = []
for x in col_array:
t.append(x.lower())
return np.array(t)
my_udf = F.udf(my_lower, ArrayType(StringType()))
df = df.withColumn('text_column_array_of_string', my_udf('text_column_array_of_string'))
df.show()
我得到一个错误:
Py4JJavaError: An error occurred while calling o4673.showString.
AttributeError: 'NoneType' object has no attribute '_jvm'
该列似乎没有正确转换
感谢检查您的一个老问题的答案的
步骤1
: