Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop Spark:在函数中将文件从HDFS复制到本地FS?_Hadoop_Apache Spark - Fatal编程技术网

Hadoop Spark:在函数中将文件从HDFS复制到本地FS?

Hadoop Spark:在函数中将文件从HDFS复制到本地FS?,hadoop,apache-spark,Hadoop,Apache Spark,我正试图了解Spark,以及如何使用第三方库,这些库不是用来处理hdfs文件系统路径的,只是现在才用于本地文件系统 函数中是否可以/建议从HDFS加载文件并将其复制到本地文件?在一个函数中,我是在单个节点上执行的一段独立代码中,对吗?那么,将一个文件复制到一个临时文件是在函数安全的范围内,或者至少不是问题 HDFS第三方库还有其他最佳实践吗?您可以使用下一个scala代码来实现这一点,而且很安全,没有什么特别之处: logData = sc.textFile(logFile) // from H

我正试图了解Spark,以及如何使用第三方库,这些库不是用来处理hdfs文件系统路径的,只是现在才用于本地文件系统

函数中是否可以/建议从HDFS加载文件并将其复制到本地文件?在一个函数中,我是在单个节点上执行的一段独立代码中,对吗?那么,将一个文件复制到一个临时文件是在函数安全的范围内,或者至少不是问题


HDFS第三方库还有其他最佳实践吗?

您可以使用下一个scala代码来实现这一点,而且很安全,没有什么特别之处:

logData = sc.textFile(logFile) // from HDFS
logData.saveAsTextFile("/tmp/save-logData") // save it to local dir