尝试在sparkR中使用文本文件时出错

我试图按照教程使用sparkR获得“README.md”的字数。 Spark版本：1.6.1 R版本：3.3.0 Ubuntu版本：14

---

然而，当我执行

行时，问题是hdfs没有运行或安装有问题，默认情况下，spark构建会查看hdfs路径

例如，当您提供

lines = sc.textFile("README.md")

将转换为,

lines = sc.textFile("hdfs://ip:port/README.md")

因此，您的错误应该是
fileNotFound
，因为您的hdfs没有运行/问题它正在抛出连接拒绝错误

如果需要，请尝试此操作以运行hdfs

cd HADDOP_HOME/sbin
./stop-all.sh
./start-all.sh

问题是hdfs未运行或安装有问题，默认情况下，spark build会查看hdfs路径

例如，当您提供

lines = sc.textFile("README.md")

将转换为,

lines = sc.textFile("hdfs://ip:port/README.md")

因此，您的错误应该是
fileNotFound
，因为您的hdfs没有运行/问题它正在抛出连接拒绝错误

如果需要，请尝试此操作以运行hdfs

cd HADDOP_HOME/sbin
./stop-all.sh
./start-all.sh

我似乎对hdfs构建有问题，请尝试以下
lines=sc.textFile（“file:////README.md）并让我们知道它是否有效？太好了！！当我遵循@WoodChopper上面所说的内容时，它就起作用了！非常感谢你！我的spark根字典是/usr/local/spark，所以我尝试了
lines=sc.textFile（“file:///usr/local/spark/README.md）
，然后它终于可以工作了！我似乎对hdfs构建有问题，请尝试以下
lines=sc.textFile（“file:////README.md）并让我们知道它是否有效？太好了！！当我遵循@WoodChopper上面所说的内容时，它就起作用了！非常感谢你！我的spark根字典是/usr/local/spark，所以我尝试了
lines=sc.textFile（“file:///usr/local/spark/README.md）
，然后它终于可以工作了！
cd HADDOP_HOME/sbin
./stop-all.sh
./start-all.sh