Sparkr 我如何才能保留NA';使用dapply时的时间戳
我正在尝试使用dapply将许多日期字符列转换为时间戳格式。但是,将空字符行转换为起始日期“1970-01-01”Sparkr 我如何才能保留NA';使用dapply时的时间戳,sparkr,Sparkr,我正在尝试使用dapply将许多日期字符列转换为时间戳格式。但是,将空字符行转换为起始日期“1970-01-01” df df <- data.frame(a = c("12/31/2016", "12/31/2016", "12/31/2016"), b = c("01/01/2016", "01/01/2017", "")) ddf <- as.DataFrame(df) schema <- structType( structFie
df
df <- data.frame(a = c("12/31/2016", "12/31/2016", "12/31/2016"),
b = c("01/01/2016", "01/01/2017", ""))
ddf <- as.DataFrame(df)
schema <- structType(
structField("a", 'timestamp'),
structField("b", 'timestamp'))
converted_dates <- dapply(ddf,
function(x){ as.data.frame(lapply(x, function(y) as.POSIXct(y, format = "%m/%d/%Y"))) },
schema)
head(converted_dates)
a b
1 2016-12-31 2016-01-01
2 2016-12-31 2017-01-01
3 2016-12-31 1970-01-01
as.data.frame(lapply(df, function(y) as.POSIXct(y, format = "%m/%d/%Y")))
a b
1 2016-12-31 2016-01-01
2 2016-12-31 2017-01-01
3 2016-12-31 <NA>