Apache spark 从worker访问SparkContext

我的问题与此相同：

不幸的是，我无法评论和询问它是如何工作的。。。所以我问了一个新问题

我想应用相同的解决方案，但。。。我无法在方法映射工作端访问sc SparkContext。它总是空的。。。我理解的不是同一个jvm。因此，我不明白这个示例如何在集群配置中适用于他

我也需要这样做

---

好的，我找到答案了。我以为他拿的钥匙清单是RDD。但是它是驱动端的一个列表，map方法不是RDD方法，而是scala方法。因此可以访问sc

如果您将代码发布到出现问题的地方，这会有所帮助。根据这一点，您不能这样做：这似乎是您遇到的问题的解决方案，但不是您一直在问的有关sparkContext和worker的问题的解决方案。最好将您的见解作为对上述问题的评论。