Apache spark Spark从远程服务器读取文件

我有一个节点spark集群，使用WholeTextFile api或Textfile api读取和解析文件

---

我可以知道spark允许从远程服务器读取文件吗？？？或者文件物理上需要存在于Spark节点上。？

您可以使用FTP读取远程文件

import org.apache.spark.SparkFiles
val filePath = "ftp://user:pwd/myhost/map/myinput.nt"
sc.addFile(filePath)
var fileName = SparkFiles.get(filePath.split("/").last)
var file = sc.textFile(fileName)

---

您可以使用FTP读取远程文件

import org.apache.spark.SparkFiles
val filePath = "ftp://user:pwd/myhost/map/myinput.nt"
sc.addFile(filePath)
var fileName = SparkFiles.get(filePath.split("/").last)
var file = sc.textFile(fileName)

---

你会想研究Spark流媒体，但是是的，远程文件读取是可能的。在使用binaryFiles API或带有JavaStreamingContext的WholeTextFile时，你能给我举个例子吗？你会想研究Spark流媒体，但是是的，远程文件读取是可能的。当使用binaryFiles API或带有JavaStreamingContext的WholeTextFile时，您能给我举个例子吗？FTP意味着我正在将文件下载到spark machine？如果是这样，我需要在我的工作完成后从spark machine中删除它们吗？我的理解正确吗？FTP表示我正在将文件下载到spark machine？如果是这样，我需要在我的工作完成后从spark machine中删除它们吗？我的理解正确吗？？