Fatal编程技术网
  • apache-spark/
  • Apache spark Spark shell vs Spark submit将jar添加到类路径问题

Apache spark Spark shell vs Spark submit将jar添加到类路径问题

apache-spark hive

Apache spark Spark shell vs Spark submit将jar添加到类路径问题,apache-spark,hive,Apache Spark,Hive,我可以通过sparkshell--jars myJar.jar--I some_script.scala在hiveContext中使用jar'myJar.jar'查询运行创建临时函数testFunc，但我无法通过sparksmit--class com.my.DriverClass--jars myJar.jar target.jar运行这样的命令 我做错什么了吗？如果您使用的是本地文件系统，那么Jar必须位于所有节点上的相同位置 因此，您有两种选择： 将jar放在同一目录中的所有节点上，例如

我可以通过
sparkshell--jars myJar.jar--I some_script.scala
在hiveContext中使用jar'myJar.jar'查询运行
创建临时函数testFunc，但我无法通过
sparksmit--class com.my.DriverClass--jars myJar.jar target.jar运行这样的命令


我做错什么了吗？
如果您使用的是本地文件系统，那么Jar必须位于所有节点上的相同位置

因此，您有两种选择：


    

  • 将jar放在同一目录中的所有节点上，例如在/home/spark/my.jar中，然后在--jars选项中使用此目录
    • 

  • 使用像HDFS这样的分布式文件系统
    • 

我应该在--jars中使用完整路径还是在ADD JAR中也使用完整路径？我指的是完整的hdfs路径