C# 开始与mobius对抗本地spark
我最终设法让spark在本地运行,并使用以下方法启动它(?) 我认为这就像启动一个可以通过API使用的服务器程序——不确定这是否正确?还是spark master正在运行?结果是打印输出:C# 开始与mobius对抗本地spark,c#,apache-spark,mobius,C#,Apache Spark,Mobius,我最终设法让spark在本地运行,并使用以下方法启动它(?) 我认为这就像启动一个可以通过API使用的服务器程序——不确定这是否正确?还是spark master正在运行?结果是打印输出: Spark context Web UI available at http://123.134.0.4:4040 Spark context available as 'sc' (master = local[*], app id = local-1492347943688 ). Spark session
Spark context Web UI available at http://123.134.0.4:4040
Spark context available as 'sc' (master = local[*], app id = local-1492347943688
).
Spark session available as 'spark'.
我可以访问web ui,但如何在我的C#驱动程序中参数化sparkcontext以与本地spark运行。最终目标是在C#中运行此Scala代码:
例如,将单词计数返回到控制台。任何指点都将不胜感激。谢谢
附言:
似乎我必须创建代码的可执行文件,然后使用:sparkclr-submit.cmd或sparkclr-submit.sh来执行它。这是正确的吗?如果是,这意味着我无法在Visual studio中运行/调试代码 Spark-shell.cmd不会启动本地Spark群集。外壳用于连接到现有火花簇(纱线、独立或Mesos)或本地模式下的火花。运行Spark-submit.cmd时,请参阅Spark文档,了解如何提供适当的“主”配置()。您需要为Mobius中的sparkclr-submit.cmd提供相同的参数集。您需要提供的唯一附加参数是exe名称。要了解如何在Mobius中实现单词计数应用程序,请参阅
如果要在VS中进行调试,请按照中的调试模式说明进行操作,现在看来没有人关心这一点。我尝试过使用它,但没有像使用Java那样直接,至少忘记scala吧。
Spark context Web UI available at http://123.134.0.4:4040
Spark context available as 'sc' (master = local[*], app id = local-1492347943688
).
Spark session available as 'spark'.
scala> val file = sc.textFile("C:\\war_and_peace.txt")
scala> val warsCount = file.filter(line => line.contains("war"))
scala> val peaceCount = file.filter(line => line.contains("peace"))
scala> warsCount.count()
res0: Long = 1218
scala> peaceCount.count()
res1: Long = 128