Scala Spark submit with uber jar在没有任何输出或错误日志的情况下无法执行作业

我正在尝试使用

sbt

编译和

sbt

包命令生成uber jar，以便在spark作为独立模式安装的远程服务器上运行我的应用程序。我使用deeplearning4j框架构建LSTM神经网络，并倾向于通过spark执行训练模型。然而，我在运行spark submit命令时遇到了一个问题：

spark-submit --class "lstm.SparkLSTM" --master local[*] 
stock_prediction_scala_2.11-0.1.jar --packages 
org.deeplearning4j:deeplearning4j-core:0.9.1 "/home/hadoop/ScalaWorkspace/Stock_Prediction_Scala/target/lstm_train/prices-split-adjusted.csv" "WLTW"

问题是，在我的情况下，spark submit似乎没有生效。它在输入spark submit后立即终止，没有抛出任何错误。我还没有看到输出中的培训进度

[hadoop@abc lstm_train]$ spark-submit --class "lstm.SparkLSTM" --master local[*] stock_prediction_scala_2.11-0.1.jar --packages org.deeplearning4j:deeplearning4j-core:0.9.1 "/home/hadoop/ScalaWorkspace/Stock_Prediction_Scala/target/lstm_train/prices-split-adjusted.csv" "WLTW"
2018-04-25 17:06:50 WARN  Utils:66 - Your hostname, gaion34 resolves to a loopback address: 127.0.0.1; using 192.168.0.173 instead (on interface eno1)
2018-04-25 17:06:50 WARN  Utils:66 - Set SPARK_LOCAL_IP if you need to bind to another address
2018-04-25 17:06:51 WARN  NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2018-04-25 17:06:51 INFO  ShutdownHookManager:54 - Shutdown hook called
2018-04-25 17:06:51 INFO  ShutdownHookManager:54 - Deleting directory /tmp/spark-c4aee15e-d23b-4c03-95a7-12d9d39f714a

我的主要班级：

如何查看spark submit命令生成的日志？我尝试过使用--verbose，但是，它没有帮助

任何人都曾遇到过这个问题，请告诉我。谢谢

如何查看spark submit命令生成的日志？我尝试过使用--verbose，但是，它没有帮助

更多详细信息，请参阅端口8080上的web UI

因为您提到了“远程服务器”，所以在localhost:8080的本地浏览器中可能无法访问此UI。你会需要的

此外：

选项--文件将确保将.csv上载到每个执行者的工作目录

确保.jar确实存在于。/默认情况下，

sbt包

在

target/scala-2.11/

---

我会删除类名中的引号

尝试使用spark提交选项，我怀疑您需要使用：--deploy mode=client->@rickyhai11-请帮助解决问题。就连我也犯了同样的错误。