Python 无法创建spark会话

当我创建spark会话时，它抛出了一个错误

• 无法创建spark会话

• 使用

  pyspark

  ，代码片段：

• 我尝试了另一种方法，但也失败了：

这将引发另一个错误，如下所示：

NameError: name 'SparkSession' is not defined

---

spark上下文用于通过资源管理器连接到集群。 sparkConf是创建spark上下文对象所必需的，该对象存储配置参数，如appName（用于标识spark驱动程序）、应用程序、core数和worker节点上运行的执行器的内存大小。要使用Sql、Hive、Streaming的API，需要创建单独的上下文

至于SparkSession，它提供了一个与底层Spark功能交互的单点入口，并允许使用数据帧和API编程Spark。使用Sql、配置单元等不需要创建单独的会话

要创建SparkSession，可以使用以下生成器

SparkSession.builder.master（“本地”）.appName（“检测恶意URL App“）.config（“spark.some.config.option”、“some value”）

为了克服这个错误

“NameError:未定义名称“SparkSession”

您可能需要使用包调用，例如

“从pyspark.sql导入SparkSession”

pyspark.sql支持spark会话，该会话用于创建数据帧或将数据帧注册为表等

以及上述错误

（ValueError:无法同时运行多个SparkContext；现有） SparkContext（app=pyspark shell，master=local[*]）由init创建 电话:33)

您指定此选项可能会有所帮助-

请尝试此选项-

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("Detecting-Malicious-URL App").getOrCreate()

在spark 2.0之前，我们必须创建一个SparkConf和SparkContext来与spark交互

而在Spark 2.0中，SparkSession是Spark SQL的入口点。现在我们不需要创建SparkConf、SparkContext或SQLContext，因为它们被封装在SparkSession中

---

有关更多详细信息，请参阅本博客：

试试这个：从pyspark.sql导入sparksession是的，我使用了pyspark而不是pyspark.sql。。。感谢如果这有帮助并且能够解决问题，请选择一个最合适的答案。如果问题已解决，请接受最合适的答案并关闭此线程。

spark = SparkSession(sc).builder.appName("Detecting-Malicious-URL App").getOrCreate()

NameError: name 'SparkSession' is not defined

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("Detecting-Malicious-URL App").getOrCreate()