Python 2.7 在spark环境中运行python程序时出错

我正在使用spark 1.3.0

我在spark python shell中运行python程序时遇到问题

以下是我提交作业的方式：

/bin/spark提交progname.py

我发现的错误是

NameError:未定义名称“sc”

在那条线上

有什么想法吗？

---

提前感谢

Spark程序必须做的第一件事是创建SparkContext对象，它告诉Spark如何访问集群。要创建SparkContext，首先需要构建一个包含应用程序信息的SparkConf对象

conf = SparkConf().setAppName(appName).setMaster(master)
sc = SparkContext(conf=conf)

这是创建SparkConf对象的方式

此外，您还可以使用链接来完成设置应用程序名称等工作

conf = pyspark.SparkConf().setAppName("My_App_Name")

---

然后传递此配置变量以创建spark上下文。

抱歉再次询问。你能告诉我怎样做一个sparkConf吗。在终点站？或者在哪里？再次感谢。使用新的SparkConf（）创建一个SparkConf对象，该对象将从任何spark加载值。*Python系统属性appName参数是应用程序在群集UI上显示的名称。master是Spark、Mesos或纱线集群URL，或者是在本地模式下运行的特殊“本地”字符串。对不起。谢谢你的帮助。但我又犯了一个错误。我不知道如何解决。可能是我不知道正确的语法（conf=SparkConf（）.setAppname（“README.md”）.setMaster（“/home/nikitha/Downloads/spark-1.5.0-bin-hadoop2.4”）sc=SparkContext（conf=conf）textFile=sc.textFile（“README.md”）我像这样给出并尝试使用/bin/spark submit progname.py运行，但错误是NameError:name'SparkConf'未定义将.master设置为localI尝试复制粘贴上述程序并运行它。IndentationError：预期出现缩进块，我收到此错误。很快我就给您带来更多麻烦。但非常感谢您的帮助，您有吗/如果你不介意的话，请告诉我你的电子邮件id。我会把截图发给你。很抱歉再次打扰你。[链接]你会在这里找到答案

conf = pyspark.SparkConf()

conf = pyspark.SparkConf().setAppName("My_App_Name")