Hadoop Spark:在函数中将文件从HDFS复制到本地FS?
我正试图了解Spark,以及如何使用第三方库,这些库不是用来处理hdfs文件系统路径的,只是现在才用于本地文件系统 函数中是否可以/建议从HDFS加载文件并将其复制到本地文件?在一个函数中,我是在单个节点上执行的一段独立代码中,对吗?那么,将一个文件复制到一个临时文件是在函数安全的范围内,或者至少不是问题Hadoop Spark:在函数中将文件从HDFS复制到本地FS?,hadoop,apache-spark,Hadoop,Apache Spark,我正试图了解Spark,以及如何使用第三方库,这些库不是用来处理hdfs文件系统路径的,只是现在才用于本地文件系统 函数中是否可以/建议从HDFS加载文件并将其复制到本地文件?在一个函数中,我是在单个节点上执行的一段独立代码中,对吗?那么,将一个文件复制到一个临时文件是在函数安全的范围内,或者至少不是问题 HDFS第三方库还有其他最佳实践吗?您可以使用下一个scala代码来实现这一点,而且很安全,没有什么特别之处: logData = sc.textFile(logFile) // from H
HDFS第三方库还有其他最佳实践吗?您可以使用下一个scala代码来实现这一点,而且很安全,没有什么特别之处:
logData = sc.textFile(logFile) // from HDFS
logData.saveAsTextFile("/tmp/save-logData") // save it to local dir