Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Sparkyr date_格式仅适用于某些格式_R_Apache Spark_Hive_Apache Spark Sql_Sparklyr - Fatal编程技术网

Sparkyr date_格式仅适用于某些格式

Sparkyr date_格式仅适用于某些格式,r,apache-spark,hive,apache-spark-sql,sparklyr,R,Apache Spark,Hive,Apache Spark Sql,Sparklyr,我试图使用Hive UDFdate\u format()提取一周中的某一天,但它只返回NA。让我们看一个例子 sc[?x 1] #日期 # #1 NA 任何帮助都将不胜感激。一些系统信息: Mac OS 10.15.7 火花3.0.1 第1.5.1节 我的尝试是使用变异。如果您想更改位置,请将DoW替换为date library(tidyverse) library(sparklyr) sc <- spark_connect(master = "local"

我试图使用Hive UDF
date\u format()
提取一周中的某一天,但它只返回
NA
。让我们看一个例子

sc[?x 1]
#日期
#   
#1 NA
任何帮助都将不胜感激。一些系统信息:

  • Mac OS 10.15.7
  • 火花3.0.1
  • 第1.5.1节

我的尝试是使用
变异
。如果您想更改位置,请将
DoW
替换为
date

library(tidyverse)
library(sparklyr)

sc <- spark_connect(master = "local")

df <- dplyr::copy_to(sc, data.frame(date = as.POSIXct("2020-01-01")), "df")
df %>% mutate(DoW=date_format(date, "E"))
# Source: spark<?> [?? x 2]
  date                DoW  
  <dttm>              <chr>
1 2019-12-31 23:00:00 Wed  
库(tidyverse)
图书馆(年)

sc我使用的是SparkyR 1.5.1,但Spark2.3.2。我一点也不想让变种人工作。但是
mutate(dow=date\u格式(date,'EEEE'))
确实适合我。