Apache spark 什么'；Sparkconf和Sparkcontext的区别是什么？

当我从Sparkcontext导入pyspark时，我遇到了一个问题，

pyspark

，但是我发现它也可以从sparkconf导入，我问这两个spark类库之间有什么区别。

Sparkcontext是spark环境的入口点。对于每个sparkapp，都需要创建sparkcontext对象。在spark 2中，可以使用sparksession而不是sparkcontext

Sparkconf是一个类，它为您提供了提供配置参数的各种选项

Val Conf = new sparkConf().setMaster(“local[*]”).setAppName(“test”)
Val SC  = new sparkContext(Conf)

---

spark配置被传递到spark上下文。您还可以在sparkconf中设置不同的应用程序配置，并传递到sparkcontex

我发布了这个问题，因为我在某处找不到答案。我不明白为什么这个问题会让人失望。我一眼就能看出这个问题有一些问题。你说你遇到了一个问题，但你没有提到它是什么，当你遇到它时你试图做什么。然后你提到“当我从导入它时”，但你没有说出你所说的是什么意思。如果您只想知道

SparkContext

和

SparkConf

之间的所有区别，那么这里的答案太宽泛了。这是两个不同的类别。顺便说一句，我没有投反对票。当我说“遇到了一个问题”时，我提到了另一个我不能在同一篇文章中提出的问题（一篇文章对应一个问题）。就为了你，我在齐柏林飞艇上运行时遇到了一个问题：

%spark.pyspark来自pyspark import SparkContext

。关于“当我从导入它时”，我认为很明显我提到了pyspark库。如果你认为这太宽泛了，我不认为有更有效的方法来问这个问题。谢谢你，顺便说一句