在SparkyR中加载文件时发生Java错误

我正在使用“SparkyR”软件包使用R开发Spark

在SparkyR中加载文件时出现以下错误：

我的代码是：

library(sparklyr)

sc <- spark_connect(master = "local", version = "2.0.1")

iris_tbl <- copy_to(sc, iris)

---

我已尝试查找/研究解决方案，但在任何其他网站上均未找到确认解决方案。

我在来自边缘节点的Cloudera群集中遇到相同错误。似乎是某个地方的容量问题，我还不清楚。 以下mod使您的代码正常工作

config <- spark_config()
config$spark.yarn.keytab <- "<user.keytab>"
config$spark.yarn.principal <- "<user@host>"
config$spark.executor.cores <- 4
config$spark.executor.memory <- "20g"
config$spark.driver.memory <- "40g"
config$spark.yarn.driver.memoryOverhead <- "8g"
config$spark.yarn.executors.memoryOverhead <- "8g"
config$spark.kryoserializer.buffer.max <- "256m"
config$spark.dynamicAllocation.enabled <- "false"
config$spark.executor.instances <- 24
config$sparklyr.cores.local <- 4
sc <- spark_connect(master = "yarn-client", version = "1.6.0", config = config) 


iris_tbl <- copy_to(sc, iris)

---

运行本地群集时，不需要所有这些设置。你的答案不是一个变通办法，因为他正在尝试spark 2.0.1，而你正在加载spark 1.6.0。

config <- spark_config()
config$spark.yarn.keytab <- "<user.keytab>"
config$spark.yarn.principal <- "<user@host>"
config$spark.executor.cores <- 4
config$spark.executor.memory <- "20g"
config$spark.driver.memory <- "40g"
config$spark.yarn.driver.memoryOverhead <- "8g"
config$spark.yarn.executors.memoryOverhead <- "8g"
config$spark.kryoserializer.buffer.max <- "256m"
config$spark.dynamicAllocation.enabled <- "false"
config$spark.executor.instances <- 24
config$sparklyr.cores.local <- 4
sc <- spark_connect(master = "yarn-client", version = "1.6.0", config = config) 


iris_tbl <- copy_to(sc, iris)

dbGetQuery(sc, 'select * from large_table limit 10')