提交spark作业时获取java.lang.NoSuchMethodError
我在提交spark作业时遇到错误: 这可能是什么原因? 我通过以下方式提交spark工作:提交spark作业时获取java.lang.NoSuchMethodError,java,apache-spark,pyspark,apache-spark-sql,spark-streaming,Java,Apache Spark,Pyspark,Apache Spark Sql,Spark Streaming,我在提交spark作业时遇到错误: 这可能是什么原因? 我通过以下方式提交spark工作: /current/spark2-client/bin/spark-submit \ --class com.pkg.ml.models.ML \ --master yarn-cluster \ --driver-memory 8G \ --executor-memory 2G \ --num-executors 100 \ --files ml.properties \ --jars /current/
/current/spark2-client/bin/spark-submit \
--class com.pkg.ml.models.ML \
--master yarn-cluster \
--driver-memory 8G \
--executor-memory 2G \
--num-executors 100 \
--files ml.properties \
--jars /current/phoenix-client/phoenix-client.jar,/current/phoenix-client/lib/phoenix-spark-4.7.0.2.6.1.0-129.jar,/2.4.2.0-258/spark/lib/datanucleus-api-jdo-3.2.6.jar,/2.4.2.0-258/spark/lib/datanucleus-api-jdo-3.2.6.jar,/2.4.2.0-258/spark/lib/datanucleus-core-3.2.10.jar \
spark-ml-0.0.2.jar ml.properties $1 $2
rc=$?
if (( $rc )); then
echo "Job failed" 1>&2
exit $rc
fi
谢谢它很可能需要在虚拟机中更新。它包含在虚拟机中纯粹是为了方便-因为它不是CDH的官方支持或包含部分,所以它不会像其他任何东西一样经过所有相同的测试。请检查您安装的spark版本。 发生此错误的主要原因是spark的版本不同。 确保您的系统和spark客户端上的spark版本应该相同