在Cassandra中将宽表转换为长格式
不幸的是,一位客户给了我一张非常凌乱、非常大的表格(csv)。它的格式很宽:'( 例如,列包括:在Cassandra中将宽表转换为长格式,r,database,apache-spark,cassandra,sparklyr,R,Database,Apache Spark,Cassandra,Sparklyr,不幸的是,一位客户给了我一张非常凌乱、非常大的表格(csv)。它的格式很宽:'( 例如,列包括: Name, Date, Usage_Hr1, Usage_Hr2, ..., Usage_Hr24, ... lots more columns 我通常只会将.csv加载到R中,并使用tidyr包中的gather,但数据太大。我曾考虑将数据加载到sparkyr,但sparkyr中还没有gather功能 所以我的问题是,一旦我将我的表复制到Cassandra中(将主键设置为Name和Date),我如
Name, Date, Usage_Hr1, Usage_Hr2, ..., Usage_Hr24, ... lots more columns
我通常只会将.csv加载到R
中,并使用tidyr
包中的gather
,但数据太大。我曾考虑将数据加载到sparkyr
,但sparkyr
中还没有gather
功能
所以我的问题是,一旦我将我的表复制到Cassandra中(将主键设置为Name和Date),我如何将这些COL转换为长格式?我只是运气不好吗?顺便说一句,我不是DB人,所以我不知道
注意我使用的是最新版本的Cassandra,我当前的表格大约有1000万行。在Spark中,您可以使用explode
函数,这样做有点复杂
初始化和示例数据:
library(stringi)
sc <- spark_connect("local[*]")
df <- data.frame(A = c("a", "b", "c"), B = c(1, 3, 5), C = c(2, 4, 6))
sdf <- copy_to(sc, df, overwrite =TRUE)
库(stringi)
sc 1000万行和多少列?数据集中有46列。理想情况下,我可以为客户信息创建一个表,然后再创建一个表以供使用
#' Given name, return corresponding SQL function
sqlf <- function(f) function(x, ...) {
invoke_static(sc, "org.apache.spark.sql.functions", f, x, ...)
}
#' @param df tbl_spark
#' @param sc spark_connection
#' @param id_vars id columns
#'
melt <- function(df, sc, id_vars, value_vars = NULL,
var_name = "key", value_name = "value") {
# Alias for the output view
alias <- paste(deparse(substitute(df)), stri_rand_strings(1, 10), sep = "_")
# Get session and JVM object
spark <- spark_session(sc)
jdf <- spark_dataframe(df)
# Convert characters to JVM Columns
j_id_vars <- lapply(id_vars, sqlf("col"))
# Combine columns into array<struct<key,value>> and explode
exploded <- sqlf("explode")(sqlf("array")(lapply(value_vars, function(x) {
key <- sqlf("lit")(x) %>% invoke("alias", var_name)
value <- sqlf("col")(x) %>% invoke("alias", value_name)
sqlf("struct")(list(key, value))
})))
# expand struct<..., struct<key, value>> into struct<..., key, value>
exprs <- lapply(
c(id_vars, paste("col", c(var_name, value_name), sep = ".")),
sqlf("col"))
# Explode and register as temp table
jdf %>%
invoke("withColumn", "col", exploded) %>%
invoke("select", exprs) %>%
invoke("createOrReplaceTempView", alias)
dplyr::tbl(sc, alias)
}
melt(sdf, sc, "A", c("B", "C"))
## Source: query [6 x 3]
## Database: spark connection master=local[*] app=sparklyr local=TRUE
##
## # A tibble: 6 x 3
## A key value
## <chr> <chr> <dbl>
## 1 a B 1
## 2 a C 2
## 3 b B 3
## 4 b C 4
## 5 c B 5
## 6 c C 6