Apache spark 运行sparkclr-submit.cmd失败

Apache spark 运行sparkclr-submit.cmd失败,apache-spark,mobius,Apache Spark,Mobius,我正在尝试在windows环境中使用VS2012以本地调试模式运行一个简单的spark clr程序 请查找我执行的以下步骤 从下一页下载v1.6.100并解压缩到my D drive 在我的D驱动器中,文件夹如下所示, D:\SparkClr\spark-clr_2.10-1.6.100 设置以下环境变量, SPARK\u HOME=D:\SparkClr\SPARK-clr\u 2.10-1.6.100\runtime SPARKCLR_HOME=D:\SPARKCLR\spark-clr_

我正在尝试在windows环境中使用VS2012以本地调试模式运行一个简单的spark clr程序

请查找我执行的以下步骤

  • 从下一页下载v1.6.100并解压缩到my D drive
  • 在我的D驱动器中,文件夹如下所示, D:\SparkClr\spark-clr_2.10-1.6.100

  • 设置以下环境变量,
    SPARK\u HOME=D:\SparkClr\SPARK-clr\u 2.10-1.6.100\runtime
    SPARKCLR_HOME=D:\SPARKCLR\spark-clr_2.10-1.6.100\runtime
    JAVA\u HOME=C:\Program Files\JAVA\jdk1.8.0\u 92
    HADOOP_HOME=D:\HadoopDirectory(winutils.exe存在于D:\HadoopDirectory\bin中)

  • 下载的sparkclr nuget包

  • 为了在本地VS程序的app.config中设置“CSharpBackendPortNumber”,我需要按照在调试模式下运行

    但是当我从D:\sparkclr\spark-clr_2.10-1.6.100\runtime\scripts运行“sparkclr-submit.cmd debug”时

    我得到以下例外情况

    D:\SparkClr\spark-clr_2.10-1.6.100\runtime\scripts>sparkclr-submit.cmd debug
    '"D:\SparkClr\spark-clr_2.10-1.6.100\runtime\bin\load-spark-env.cmd"' is not rec
    ognized as an internal or external command,
    operable program or batch file.
    SPARKCLR_JAR=spark-clr_2.10-1.6.100.jar
    Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/Seq
            at org.apache.spark.deploy.csharp.CSharpRunner.main(CSharpRunner.scala)
    Caused by: java.lang.ClassNotFoundException: scala.collection.Seq
            at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
            at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
            at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
            at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
            ... 1 more
    
    你能告诉我我是否遗漏了什么吗


    谢谢

    SPARK\u HOME
    环境变量应指向SPARK目录。您将其指向Mobius目录。

    @karthickvas,如果它有效,请接受答案作为解决方案。