SparkyR-rsparkling as_h2o_frame（）错误java.lang.IllegalArgumentException:不支持的参数：（spark.dynamicAllocation.enabled，true）

我试图在

sparkyr

会话期间通过H2o（使用库

rsparkling

）使用一些机器学习功能。我正在使用hadoop集群

考虑以下示例：

library(dplyr)
library(sparklyr)
library(rsparkling)
library(h2o)

#configure the spark session and connect
sc = spark_connect(master = 'yarn-client',
                   spark_home = '/usr/hdp/current/spark-client',
                   app_name = 'sparklyr',
                   config = list(
                     "sparklyr.shell.executor-memory" = "1G",
                     "sparklyr.shell.driver-memory"   = "4G",
                     "spark.driver.maxResultSize"     = "2G" # may need to transfer a lot of data into R
                   )
)

mtcars_tbl <- copy_to(sc, mtcars, "mtcars")

mtcars_hf <- as_h2o_frame(sc=sc,x=mtcars_tbl,name='h_cars')

库（dplyr）
图书馆（年）
图书馆（公园）
图书馆（h2o）
#配置spark会话并连接
sc=spark_connect（主机=‘纱线客户机’，
spark_home='/usr/hdp/current/spark client'，
应用程序名称='Sparkyr'，
配置=列表(
“sparklyr.shell.executor内存”=“1G”，
“sparklyr.shell.driver内存”=“4G”，
“spark.driver.maxResultSize”=“2G”#可能需要将大量数据传输到R
)
)
mtcars\u tbl目前，起泡水/RSparkling不支持动态火花束。因此，您只需禁用它：


config=list（“spark.dynamicAllocation.enabled”=“false”）
对于Python用户：

conf = H2OConf(spark).set('spark.dynamicAllocation.enabled', False)   # Default of True causes this error:  IllegalArgumentException: 'Unsupported argument: (spark.dynamicAllocation.enabled,true)'
hc = H2OContext.getOrCreate(spark, conf)   

conf = H2OConf(spark).set('spark.dynamicAllocation.enabled', False)   # Default of True causes this error:  IllegalArgumentException: 'Unsupported argument: (spark.dynamicAllocation.enabled,true)'
hc = H2OContext.getOrCreate(spark, conf)