Sparkyr date_格式仅适用于某些格式
我试图使用Hive UDFSparkyr date_格式仅适用于某些格式,r,apache-spark,hive,apache-spark-sql,sparklyr,R,Apache Spark,Hive,Apache Spark Sql,Sparklyr,我试图使用Hive UDFdate\u format()提取一周中的某一天,但它只返回NA。让我们看一个例子 sc[?x 1] #日期 # #1 NA 任何帮助都将不胜感激。一些系统信息: Mac OS 10.15.7 火花3.0.1 第1.5.1节 我的尝试是使用变异。如果您想更改位置,请将DoW替换为date library(tidyverse) library(sparklyr) sc <- spark_connect(master = "local"
date\u format()
提取一周中的某一天,但它只返回NA
。让我们看一个例子
sc[?x 1]
#日期
#
#1 NA
任何帮助都将不胜感激。一些系统信息:
- Mac OS 10.15.7
- 火花3.0.1
- 第1.5.1节
变异
。如果您想更改位置,请将DoW
替换为date
library(tidyverse)
library(sparklyr)
sc <- spark_connect(master = "local")
df <- dplyr::copy_to(sc, data.frame(date = as.POSIXct("2020-01-01")), "df")
df %>% mutate(DoW=date_format(date, "E"))
# Source: spark<?> [?? x 2]
date DoW
<dttm> <chr>
1 2019-12-31 23:00:00 Wed
库(tidyverse)
图书馆(年)
sc我使用的是SparkyR 1.5.1,但Spark2.3.2。我一点也不想让变种人工作。但是mutate(dow=date\u格式(date,'EEEE'))
确实适合我。