';abs&x27;R和sparkR中的函数

';abs&x27;R和sparkR中的函数,r,apache-spark,sparkr,R,Apache Spark,Sparkr,在sparkR API中,有些函数的名称与R中的相同。一些示例是abs、cosine函数 R和sparkR中abs功能的区别是什么。abs功能何时在spark中执行 sparkR abs功能文档 不同之处在于函数所在的位置 在base R中,abs是一个基元: function(x) .Primitive("abs") 在Spark中,abs是对Spark引擎调用的包装: setMethod("abs", signature(x = "Column"),

在sparkR API中,有些函数的名称与R中的相同。一些示例是
abs、cosine
函数

R和sparkR中abs功能的区别是什么。abs功能何时在spark中执行

sparkR abs功能文档

不同之处在于函数所在的位置

在base R中,
abs
是一个基元:

function(x) .Primitive("abs")
在Spark中,
abs
是对Spark引擎调用的包装:

setMethod("abs",
          signature(x = "Column"),
          function(x) {
            jc <- callJStatic("org.apache.spark.sql.functions", "abs", x@jc)
            column(jc)
          })
setMethod(“abs”,
签名(x=“列”),
功能(x){

jc不同之处在于函数所在的位置

在base R中,
abs
是一个基元:

function(x) .Primitive("abs")
在Spark中,
abs
是对Spark引擎调用的包装:

setMethod("abs",
          signature(x = "Column"),
          function(x) {
            jc <- callJStatic("org.apache.spark.sql.functions", "abs", x@jc)
            column(jc)
          })
setMethod(“abs”,
签名(x=“列”),
功能(x){

jc在base R中,它可以应用于任何向量,但在SparkR中,它只能应用于列。假设您有一个dataframe,并且C3列是双精度的,您可以使用以下代码将一列C4添加到dataframe,这是C3的abs值

df$C4 <- abs(df$C3)

我认为base R和SparkR之间最大的区别在于,在SparkR中,可以执行的最小单位是列,而不是向量或矩阵。我只是SparkR的新手,我还在学习。

在base R中,它可以应用于任何向量,但在SparkR中,它只能应用于列。假设您有一个数据帧,C3列是双精度的,you可以使用以下代码向dataframe添加一列C4,这是C3的abs值

df$C4 <- abs(df$C3)

我认为base R和SparkR之间的最大区别在于,在SparkR中,您可以执行的最小单位是列,而不是向量或矩阵。我只是SparkR的新手,我还在学习。

我相信这可能会引起您的兴趣,因为它讨论了当您有两个具有相同名称的函数的包时会发生什么情况(在本例中是
baseR
sparkR
)。我相信这可能会引起您的兴趣,因为它讨论了当您有两个具有相同名称的函数的包时会发生什么情况(在本例中是
baseR
sparkR
)有没有办法知道函数是在哪里执行的?我是说在本地R进程中还是spark@DesirePRG我想只有涉及调用的函数,比如
callJStatic
才能在Spark中运行,但我自己不是Spark用户,所以不要引用我的话。有没有办法知道函数是在哪里执行的?我是说在本地R进程中或spark@DesirePRG我认为只有涉及调用的函数,比如
callJStatic
才能在Spark中运行,但我自己不是Spark用户,所以不要引用我的话。