Sparkyr-连接远程hadoop群集

可以连接到远程hadoop集群，还是只能在本地使用？ 如果可能的话，怎么做？：）

---

在我看来，通过spark从R到hadoop的连接非常重要

你是说Hadoop还是Spark cluster？如果是Spark，您可以尝试通过连接，详情如下：

---

注意：通过Livy连接SparkyR的SparkyR正在进行实验性开发，你是说Hadoop还是SparkCluster？如果是Spark，您可以尝试通过连接，详情如下：

注意：通过Livy连接Spark clusters正在SparkyR中进行实验性开发，您可以使用它，它是Spark clusters的Rest API服务

在Azure上设置集群后，使用curl检查livy服务

#curl test
curl -k --user "admin:mypassword1!" -v -X GET 


#r-studio code
sc <- spark_connect(master = "https://<yourclustername>.azurehdinsight.net/livy/",
                     method = "livy", config = livy_config(
                       username = "admin",
                       password = rstudioapi::askForPassword("Livy password:")))

卷曲试验 curl-k——用户“admin:mypassword1！”-v-xget #r-studio代码 sc您可以使用spark集群的restapi服务

在Azure上设置集群后，使用curl检查livy服务

#curl test
curl -k --user "admin:mypassword1!" -v -X GET 


#r-studio code
sc <- spark_connect(master = "https://<yourclustername>.azurehdinsight.net/livy/",
                     method = "livy", config = livy_config(
                       username = "admin",
                       password = rstudioapi::askForPassword("Livy password:")))

卷曲试验 curl-k——用户“admin:mypassword1！”-v-xget #r-studio代码

---

sc我的意思是通过Spark连接到Hadoop。这是可能的吗？我不知道你有什么类型的火花安装-如果它的纱线，然后火花可以读取数据从HDFS。所以答案是：是的。然而，我恐怕你需要提供更多的信息来获得关于你需要什么的好提示。好的，谢谢。我的数据存储在Cloudera Hadoop集群中。通过带有JDBC连接的配置单元访问数据可以很好地使用are。这也可以用sparkly吗？如果是，怎么做？：）请检查这里：我的意思是通过Spark连接到Hadoop。这是可能的吗？我不知道你有什么类型的火花安装-如果它的纱线，然后火花可以读取数据从HDFS。所以答案是：是的。然而，我恐怕你需要提供更多的信息来获得关于你需要什么的好提示。好的，谢谢。我的数据存储在Cloudera Hadoop集群中。通过带有JDBC连接的配置单元访问数据可以很好地使用are。这也可以用sparkly吗？如果是，怎么做？：）请检查这里：