Url 从远程位置(ftp)读取Apache Spark中的csv文件
我在Ubuntu机器中有一个文件,我想在ApacheSpark中读取它 我发现这个例子:Url 从远程位置(ftp)读取Apache Spark中的csv文件,url,ftp,apache-spark,Url,Ftp,Apache Spark,我在Ubuntu机器中有一个文件,我想在ApacheSpark中读取它 我发现这个例子: object BasicTextFromFTP { def main(args: Array[String]) { val conf = new SparkConf conf.setMaster(args(0)) val sc = new SparkContext(conf) val file = sc.textFile("ftp://anonymou
object BasicTextFromFTP {
def main(args: Array[String]) {
val conf = new SparkConf
conf.setMaster(args(0))
val sc = new SparkContext(conf)
val file = sc.textFile("ftp://anonymous:pandamagic@ftp.ubuntu.com/ubuntu/ls-LR.gz")
println(file.collect().mkString("\n"))
}
}
关于此链接:
我不明白URL是如何创建的。请帮我解决这个问题。URL的基本结构是一个模式类型(此处为
ftp
),后跟
//<user>:<password>@<host>:<port>/<url-path>
/:@:/
除主机外的所有部件都可以省略 URL的基本结构是一种模式类型(此处为
ftp
),后跟
//<user>:<password>@<host>:<port>/<url-path>
/:@:/
除主机外的所有部件都可以省略 检查此项:检查此项: