如何在Pyspark中运行Python脚本

我正在尝试在ClouderaVM上用Pyspark运行Python脚本

首先我跑过去

$ which pyspark
$ pyspark

启动spark后，我尝试：

$ spark-submit /home/cloudera/test.py

给我“名称‘spark’未定义”

给我“SyntaxError:无效语法”

---

我知道网上有很多类似的问题，但我还是搞不懂。有人能帮忙吗？

通过调用spark shell检查spark是否按预期安装。还可以尝试pysparkshell并测试test.py文件中的内容。一旦成功，请尝试spark submit

您必须从集群本身运行spark submit shell。你不必把精力放在这上面

如果您希望以交互方式运行代码（逐行键入或复制/粘贴），则可以使用pyspark

希望有帮助

$ ./bin/spark-submit /home/cloudera/test.py