Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/csharp/308.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
C# 开始与mobius对抗本地spark_C#_Apache Spark_Mobius - Fatal编程技术网

C# 开始与mobius对抗本地spark

C# 开始与mobius对抗本地spark,c#,apache-spark,mobius,C#,Apache Spark,Mobius,我最终设法让spark在本地运行,并使用以下方法启动它(?) 我认为这就像启动一个可以通过API使用的服务器程序——不确定这是否正确?还是spark master正在运行?结果是打印输出: Spark context Web UI available at http://123.134.0.4:4040 Spark context available as 'sc' (master = local[*], app id = local-1492347943688 ). Spark session

我最终设法让spark在本地运行,并使用以下方法启动它(?)

我认为这就像启动一个可以通过API使用的服务器程序——不确定这是否正确?还是spark master正在运行?结果是打印输出:

Spark context Web UI available at http://123.134.0.4:4040
Spark context available as 'sc' (master = local[*], app id = local-1492347943688
).
Spark session available as 'spark'.
我可以访问web ui,但如何在我的C#驱动程序中参数化sparkcontext以与本地spark运行。最终目标是在C#中运行此Scala代码:

例如,将单词计数返回到控制台。任何指点都将不胜感激。谢谢

附言:


似乎我必须创建代码的可执行文件,然后使用:sparkclr-submit.cmd或sparkclr-submit.sh来执行它。这是正确的吗?如果是,这意味着我无法在Visual studio中运行/调试代码

Spark-shell.cmd不会启动本地Spark群集。外壳用于连接到现有火花簇(纱线、独立或Mesos)或本地模式下的火花。运行Spark-submit.cmd时,请参阅Spark文档,了解如何提供适当的“主”配置()。您需要为Mobius中的sparkclr-submit.cmd提供相同的参数集。您需要提供的唯一附加参数是exe名称。要了解如何在Mobius中实现单词计数应用程序,请参阅


如果要在VS中进行调试,请按照

中的调试模式说明进行操作,现在看来没有人关心这一点。我尝试过使用它,但没有像使用Java那样直接,至少忘记scala吧。
Spark context Web UI available at http://123.134.0.4:4040
Spark context available as 'sc' (master = local[*], app id = local-1492347943688
).
Spark session available as 'spark'.
scala> val file = sc.textFile("C:\\war_and_peace.txt")
scala> val warsCount = file.filter(line => line.contains("war"))
scala> val peaceCount = file.filter(line => line.contains("peace"))
scala> warsCount.count()
res0: Long = 1218
scala> peaceCount.count()
res1: Long = 128