Apache spark 无法运行简单的pyspark程序

Apache spark 无法运行简单的pyspark程序,apache-spark,pyspark,Apache Spark,Pyspark,我正在尝试用本地系统上的一个文件创建RDD。我正在windows上使用EclipseIDE。下面是我的代码: from pyspark import SparkConf from pyspark import SparkContext conf = SparkConf().setAppName("FirstProgram").setMaster("Local") sc = SparkContext("local") load_data=sc.textFile("E://words.txt")

我正在尝试用本地系统上的一个文件创建RDD。我正在windows上使用EclipseIDE。下面是我的代码:

from pyspark import SparkConf
from pyspark import SparkContext

conf = SparkConf().setAppName("FirstProgram").setMaster("Local")
sc = SparkContext("local")
load_data=sc.textFile("E://words.txt")
load_data.collect()
下面是我的配置:
1)
Spark 2.4.4

2)
Python 3.7.4

我尝试了文件路径名的变体,但没有成功。以下是项目的内容,其中文件存储在源文件夹中,但仍无法读取。但是,我可以通过相同的路径读取该文件,即
e:/words.txt
。我认为
SparkContext
对象存在一些问题

 Directory of E:\workspacewa\FirstSparkProject\Sample

10/12/2019  07:33 PM    <DIR>          .
10/12/2019  07:33 PM    <DIR>          ..
10/12/2019  07:34 PM               119 FileRead.py
10/12/2019  06:21 PM               269 FirstSpark.py
02/02/2019  09:22 PM                82 words.txt
10/12/2019  01:22 PM                 0 __init__.py
目录E:\workspacewa\FirstSparkProject\Sample
2019年12月10日晚上7:33。
2019年12月10日晚上7:33。。
2019年10月12日07:34 PM 119 FileRead.py
2019年10月12日06:21 PM 269 FirstSpark.py
2019年2月2日09:22 PM 82 words.txt
2019年12月10日01:22下午0点开始
我重新安装了所有内容,现在面临一个新错误,如下所示:

Exception ignored in: <function Popen.__del__ at 0x000001924C5434C8>
Traceback (most recent call last):
  File "C:\Users\siddh\AppData\Local\Programs\Python\Python37\lib\subprocess.py", line 860, in __del__
    self._internal_poll(_deadstate=_maxsize)
  File "C:\Users\siddh\AppData\Local\Programs\Python\Python37\lib\subprocess.py", line 1216, in _internal_poll
    if _WaitForSingleObject(self._handle, 0) == _WAIT_OBJECT_0:
OSError: [WinError 6] The handle is invalid
中忽略的异常:
回溯(最近一次呼叫最后一次):
文件“C:\Users\siddh\AppData\Local\Programs\Python\Python37\lib\subprocess.py”,第860行,在__
self.\u internal\u poll(\u deadstate=\u maxsize)
文件“C:\Users\siddh\AppData\Local\Programs\Python\Python37\lib\subprocess.py”,第1216行,在内部轮询中
如果WaitForSingleObject(self.\u handle,0)=\u WAIT\u OBJECT\u 0:
OSError:[WinError 6]句柄无效

我清理了所有的
temp
文件,重新安装了所有东西,并用下面的代码再次尝试,效果非常好

from pyspark.context import SparkContext
from pyspark.sql import SparkSession
from pyspark import SparkConf

sc = SparkContext.getOrCreate(SparkConf().setMaster("local[*]"))
load_data=sc.textFile("E://long_sample.txt")
load_data.foreach(print())

这个错误是不言自明的。您指定的路径中不存在该文件,或者您作为输入提供的路径错误。如果您在Windows上,请尝试
sc.textFile(“E:\words.txt”)
是的,我尝试了,但没有成功地将文本文件复制到
“E:\workspacewa\FirstSparkProject\Sample
目录中,只需说
sc.textFile(“words.txt”)
。如果出现相同错误,请尝试。是否有其他方法可以发布windows的“ls”和“pwd”等效屏幕截图?请将它们输入words.txt所在的目录中