Scala 日期列和其他日期之间的差异

我想找出spark数据集中的日期列和不是列的日期值之间的差异

如果两者都是专栏，我会做的

datediff（列（“日期开始”），列（“日期结束”）

因为我想找出col（“dateStart”）和另一个不是列的日期之间的区别

val dsWithTimeDiff=detailedRecordsDs.withColumn（运行日期， lit（runDate.toString））

---

有没有更好的方法来代替再添加一列然后查找差异

您不必将该列添加到数据帧中，您可以直接使用文本列：

datediff（to_date（lit（runDate.toString）），col（DateCol））

您不必将列添加到数据帧中，您可以直接使用文本列：

datediff（to_date（lit（runDate.toString）），col（DateCol））

val dsWithTimeDiff = dsWithRunDate.withColumn(DateDiff,
  datediff(to_date(col(RunDate)), col(DateCol)))