Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Pyspark读取csv-NameError:name';火花&x27;没有定义_Apache Spark_Pyspark_Databricks - Fatal编程技术网

Apache spark Pyspark读取csv-NameError:name';火花&x27;没有定义

Apache spark Pyspark读取csv-NameError:name';火花&x27;没有定义,apache-spark,pyspark,databricks,Apache Spark,Pyspark,Databricks,我试图在databricks中运行以下代码,以便调用spark会话并使用它打开csv文件: spark fireServiceCallsDF = spark.read.csv('/mnt/sf_open_data/fire_dept_calls_for_service/Fire_Department_Calls_for_Service.csv', header=True, inferSchema=True) 我得到以下错误: NameError:name 'spark' is not defi

我试图在databricks中运行以下代码,以便调用spark会话并使用它打开csv文件:

spark
fireServiceCallsDF = spark.read.csv('/mnt/sf_open_data/fire_dept_calls_for_service/Fire_Department_Calls_for_Service.csv', header=True, inferSchema=True)
我得到以下错误:

NameError:name 'spark' is not defined
你知道哪里不对吗

我还试着跑:

 from pyspark.sql import SparkSession
但得到了如下回应:

ImportError: cannot import name SparkSession
如果有帮助的话,我将尝试遵循以下示例(如果您从17:30开始观看,您会更好地理解):

请注意,您使用的示例代码适用于Spark 2.x版

spark 1.x上没有“spark”和“SparkSession”。您收到的错误消息指向可能的版本问题(Spark 1.x)


检查您正在使用的Spark版本。

请注意,您正在使用的示例代码适用于Spark版本2.x

spark 1.x上没有“spark”和“SparkSession”。您收到的错误消息指向可能的版本问题(Spark 1.x)


检查您正在使用的Spark版本。

我通过使用以下导入使其工作:

from pyspark import SparkConf                                                                                                                 
from pyspark.context import SparkContext                                                                                                      
from pyspark.sql import SparkSession, SQLContext

我是通过查看pyspark代码得出这个想法的,因为我发现read csv在交互式shell中工作。

我是通过使用以下导入来实现的:

from pyspark import SparkConf                                                                                                                 
from pyspark.context import SparkContext                                                                                                      
from pyspark.sql import SparkSession, SQLContext

我是通过查看pyspark代码得出这个想法的,因为我发现read csv在交互式shell中工作。

如果:我使用的是databricks笔记本。我正在遵循这个示例(如果您一直跳到17:00,这更容易理解):我甚至无法通过以下代码导入它:from pyspark.sql import SparkSession,因为我得到以下内容:ImportError:无法导入name SparkSession in case:我正在使用databricks笔记本。我正在遵循这个示例(如果您一直跳到17:00,这更容易理解):我甚至无法通过以下代码导入它:从pyspark.sql导入SparkSession,因为我得到以下内容:导入错误:无法导入名称SparkSession我使用的是Spark 2.0。这不是答案我使用的是Spark 2.0。这不是答案