Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/335.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 在pyspark中读取csv时,SQLContext对象没有读取的属性_Python_Csv_Pyspark - Fatal编程技术网

Python 在pyspark中读取csv时,SQLContext对象没有读取的属性

Python 在pyspark中读取csv时,SQLContext对象没有读取的属性,python,csv,pyspark,Python,Csv,Pyspark,我正在将csv文件加载到pyspark中,如下所示(在pyspark shell中): 但我得到了这个错误: Traceback (most recent call last): File "<stdin>", line 1, in <module> AttributeError: 'SQLContext' object has no attribute 'read' >>> 回溯(最近一次呼叫最后一次): 文件“”,第1行,在 Attribut

我正在将csv文件加载到pyspark中,如下所示(在pyspark shell中):

但我得到了这个错误:

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: 'SQLContext' object has no attribute 'read'
>>> 
回溯(最近一次呼叫最后一次):
文件“”,第1行,在
AttributeError:'SQLContext'对象没有属性'read'
>>> 

我正在使用spark 1.3.1,我正在尝试使用您正在尝试使用
spark 1.4+
语法

为了


实际上,我使用的是spark csv模块的python api示例。它利用了我的阅读能力doing@MedAli您正在尝试使用
Spark 1.4+:
语法
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: 'SQLContext' object has no attribute 'read'
>>> 
from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)

df = sqlContext.load(source="com.databricks.spark.csv", header="true", path = "cars.csv")
df.select("year", "model").save("newcars.csv", "com.databricks.spark.csv")