Apache spark Spark从本地读取文件并在hdfs中写入

Apache spark Spark从本地读取文件并在hdfs中写入,apache-spark,Apache Spark,我在本地系统中有一个文件。 我想在本地使用Spark读取它,然后使用相同的Spark程序在HDFS中写入它 是否可能?客户端模式如果在客户端模式下运行spark,则驱动程序将在本地系统中运行,因此它可以轻松访问本地文件并写入HDFS 在此模式下,要访问本地文件,请尝试在file:// 群集模式如果在群集模式下运行spark,您的驱动程序将从其中一个工作进程启动,因此您无法在群集模式下访问本地文件 spark.read.text("file:///tmp/srinivas/hive.log") /

我在本地系统中有一个文件。 我想在本地使用Spark读取它,然后使用相同的Spark程序在HDFS中写入它
是否可能?

客户端模式
如果在客户端模式下运行spark,则驱动程序将在本地系统中运行,因此它可以轻松访问本地文件并写入HDFS

在此模式下,要访问本地文件,请尝试在
file://

群集模式
如果在群集模式下运行spark,您的驱动程序将从其中一个工作进程启动,因此您无法在群集模式下访问本地文件

spark.read.text("file:///tmp/srinivas/hive.log") // To access local files, without file:// It will search in HDFS location.


在将文件加载到spark中之后,您是否正在进行任何处理?不,我只想从本地读取它,并在hdfsHello中写入,欢迎使用Stackoverflow。请看一看。您当前的问题写下来是为了回答一个简单的“是”或“否”。(事实上答案是“是的”。)但是现在呢?