Apache spark Pyspark读取csv-NameError:name';火花&x27;没有定义
我试图在databricks中运行以下代码,以便调用spark会话并使用它打开csv文件:Apache spark Pyspark读取csv-NameError:name';火花&x27;没有定义,apache-spark,pyspark,databricks,Apache Spark,Pyspark,Databricks,我试图在databricks中运行以下代码,以便调用spark会话并使用它打开csv文件: spark fireServiceCallsDF = spark.read.csv('/mnt/sf_open_data/fire_dept_calls_for_service/Fire_Department_Calls_for_Service.csv', header=True, inferSchema=True) 我得到以下错误: NameError:name 'spark' is not defi
spark
fireServiceCallsDF = spark.read.csv('/mnt/sf_open_data/fire_dept_calls_for_service/Fire_Department_Calls_for_Service.csv', header=True, inferSchema=True)
我得到以下错误:
NameError:name 'spark' is not defined
你知道哪里不对吗
我还试着跑:
from pyspark.sql import SparkSession
但得到了如下回应:
ImportError: cannot import name SparkSession
如果有帮助的话,我将尝试遵循以下示例(如果您从17:30开始观看,您会更好地理解):
请注意,您使用的示例代码适用于Spark 2.x版 spark 1.x上没有“spark”和“SparkSession”。您收到的错误消息指向可能的版本问题(Spark 1.x)
检查您正在使用的Spark版本。请注意,您正在使用的示例代码适用于Spark版本2.x spark 1.x上没有“spark”和“SparkSession”。您收到的错误消息指向可能的版本问题(Spark 1.x)
检查您正在使用的Spark版本。我通过使用以下导入使其工作:
from pyspark import SparkConf
from pyspark.context import SparkContext
from pyspark.sql import SparkSession, SQLContext
我是通过查看pyspark代码得出这个想法的,因为我发现read csv在交互式shell中工作。我是通过使用以下导入来实现的:
from pyspark import SparkConf
from pyspark.context import SparkContext
from pyspark.sql import SparkSession, SQLContext
我是通过查看pyspark代码得出这个想法的,因为我发现read csv在交互式shell中工作。如果:我使用的是databricks笔记本。我正在遵循这个示例(如果您一直跳到17:00,这更容易理解):我甚至无法通过以下代码导入它:from pyspark.sql import SparkSession,因为我得到以下内容:ImportError:无法导入name SparkSession in case:我正在使用databricks笔记本。我正在遵循这个示例(如果您一直跳到17:00,这更容易理解):我甚至无法通过以下代码导入它:从pyspark.sql导入SparkSession,因为我得到以下内容:导入错误:无法导入名称SparkSession我使用的是Spark 2.0。这不是答案我使用的是Spark 2.0。这不是答案