Xcode 在pyspark rdd中将字符串日期转换为日期类型我需要在pyspark shell中的rdd中将字符串date转换为date_Xcode

Xcode 在pyspark rdd中将字符串日期转换为日期类型我需要在pyspark shell中的rdd中将字符串date转换为date

xcode

Xcode 在pyspark rdd中将字符串日期转换为日期类型我需要在pyspark shell中的rdd中将字符串date转换为date,xcode,Xcode,在日期栏中，我的日期格式为“2018年1月1日：00:00:00”。我需要将其转换为任何日期格式 dq1=dq.withColumn（“记录日期”，dq['D\u MTHLY\u LABEL'].cast（DateType（））.show（）它在新列中显示空值试试下面的例子 dq.selectExpr("cast(to_date(from_unixtime(unix_timestamp(D_MTHLY_LABEL, 'ddMMMyyyy:HH:mm:ss'))) as date) recor

在日期栏中，我的日期格式为“2018年1月1日：00:00:00”。我需要将其转换为任何日期格式

dq1=dq.withColumn（“记录日期”，dq['D\u MTHLY\u LABEL'].cast（DateType（））.show（）

它在新列中显示空值

试试下面的例子

dq.selectExpr("cast(to_date(from_unixtime(unix_timestamp(D_MTHLY_LABEL, 'ddMMMyyyy:HH:mm:ss'))) as date) record_date").show()

嗨Kaushal。。谢谢它的工作。关于在rdd中保留现有列，我还有一个问题。在我的rdd“dq”中，我还有几个像EmpID、Salary这样的列。我可以将这些变量保留在同一个rdd中，还是需要创建新的rdd。上面的表达式仅显示已创建的新列。你能帮我一下吗？首先，上面的代码返回的是数据帧而不是rdd。您可以将剩余的列添加为另一个参数<代码>dq。选择EXPR（“转换日期（从unix时间戳（unix时间戳，'ddMMMyyyy:HH:mm:ss'））作为日期）记录日期”，“EmpID”，“Salary”）。show（）