windows上的pyspark(从1.6升级到2.0.2):sqlContext.read.format失败

windows上的pyspark(从1.6升级到2.0.2):sqlContext.read.format失败,pyspark,spark-dataframe,Pyspark,Spark Dataframe,下面的代码行在1.6中运行良好,但在2.0.2中失败。你知道吗,会有什么问题 file_name = "D:/ProgramFiles/spark-2.0.2-bin-hadoop2.3/data/mllib/sample_linear_regression_data.txt" df_train = sqlContext.read.format("libsvm").load(file_name) 错误是 File "<ipython-input-4-e5510d6d3d6a>"

下面的代码行在1.6中运行良好,但在2.0.2中失败。你知道吗,会有什么问题

file_name = "D:/ProgramFiles/spark-2.0.2-bin-hadoop2.3/data/mllib/sample_linear_regression_data.txt"
df_train = sqlContext.read.format("libsvm").load(file_name)
错误是

  File "<ipython-input-4-e5510d6d3d6a>", line 1, in <module>
    df_train = sqlContext.read.format("libsvm").load("../data/mllib/sample_linear_regression_data.txt")

  File "D:\ProgramFiles\spark-2.0.2-bin-hadoop2.3\python\lib\pyspark.zip\pyspark\sql\readwriter.py", line 147, in load
    return self._df(self._jreader.load(path))

  File "D:\ProgramFiles\spark-2.0.2-bin-hadoop2.3\python\lib\py4j-0.10.3-src.zip\py4j\java_gateway.py", line 1133, in __call__
    answer, self.gateway_client, self.target_id, self.name)

  File "D:\ProgramFiles\spark-2.0.2-bin-hadoop2.3\python\lib\pyspark.zip\pyspark\sql\utils.py", line 79, in deco
    raise IllegalArgumentException(s.split(': ', 1)[1], stackTrace)

IllegalArgumentException: 'Can not create a Path from an empty string'
文件“”,第1行,在
df_train=sqlContext.read.format(“libsvm”).load(“../data/mllib/sample\u linear\u regression\u data.txt”)
文件“D:\ProgramFiles\spark-2.0.2-bin-hadoop2.3\python\lib\pyspark.zip\pyspark\sql\readwriter.py”,第147行,已加载
返回self.\u df(self.\u jreader.load(路径))
文件“D:\ProgramFiles\spark-2.0.2-bin-hadoop2.3\python\lib\py4j-0.10.3-src.zip\py4j\java_gateway.py”,第1133行,在u调用中__
回答,self.gateway\u客户端,self.target\u id,self.name)
文件“D:\ProgramFiles\spark-2.0.2-bin-hadoop2.3\python\lib\pyspark.zip\pyspark\sql\utils.py”,第79行,deco格式
引发IllegalArgumentException(s.split(“:”,1)[1],stackTrace)
IllegalArgumentException:“无法从空字符串创建路径”

这可能是由于该错误,该错误已被纠正:

它引发此“空字符串”错误,而不是无效路径


您使用的是一个相对路径,它将从默认目录构建一个路径,该默认目录可能在您安装spark2时发生了更改。尝试设置环境变量HADOOP\u CONF\u DIR或指定绝对路径而不是相对路径。如果是本地路径,请使用
文件:///

,这可能是由于该错误,该错误已被更正:

它引发此“空字符串”错误,而不是无效路径


您使用的是一个相对路径,它将从默认目录构建一个路径,该默认目录可能在您安装spark2时发生了更改。尝试设置环境变量HADOOP\u CONF\u DIR或指定绝对路径而不是相对路径。如果是本地路径,请使用
文件://

您的路径是本地路径吗?本地路径的问题仍然存在。总的来说,窗口上的PySpark和Spark非常不稳定。看起来这些都是为Linux设计的。您的路径是本地路径吗?本地路径的问题仍然存在。总的来说,窗口上的PySpark和Spark非常不稳定。看起来这些都是为Linux设计的,但本地路径的问题仍然存在。总的来说,窗口上的PySpark和Spark非常不稳定。看起来这些都是为Linux设计的,但本地路径的问题仍然存在。总的来说,窗口上的PySpark和Spark非常不稳定。看起来这些是为Linux设计的