Scala Azure上的Spark堆空间和简单电子邮件

我正在使用IntelliJ和Scala编程一个Spark作业

我有一个目标。当我在本地机器上运行它时，我得到一个关于Java堆大小的错误。我进入IntelliJ设置，可以添加更多空间

我已经在Azure上构建了Spark 2.2集群

当我通过IntelliJ将作业提交到Azure时，在本地运行作业时会出现两个错误

1. 如何设置Azure上Spark上的Java堆空间

2. 我认为问题在于这一行代码：

val email = new SimpleEmail
email.setHostName("smtp.googlemail.com")

email.setSmtpPort(465)
email.setAuthenticator(new DefaultAuthenticator("MY EMAIL Address", "MyPassword"))

如何从Azure上的Spark发送电子邮件？这段代码在本地运行良好。我需要做什么才能让它工作

如何设置Azure上Spark上的Java堆空间

NameNode Java堆大小取决于许多因素，如集群上的负载、文件数和块数。默认大小1 GB适用于大多数集群，尽管某些工作负载可能需要更多或更少的内存

修改

HDFS=>Config=>Advanced=>NameNode Java堆大小=2048MB=>Save

修改纱线堆大小

纱线=>Config=>Advanced=>ResourceManager Java堆大小=2048MB=>Save

如何从Azure上的Spark发送电子邮件？这个代码很好用 在当地。我需要做什么才能让它工作

您可以参考线程中概述的解决类似问题的建议

YARN Diagnostics: User class threw exception: java.lang.NoClassDefFoundError: 
org/apache/commons/mail/DefaultAuthenticator

val email = new SimpleEmail
email.setHostName("smtp.googlemail.com")

email.setSmtpPort(465)
email.setAuthenticator(new DefaultAuthenticator("MY EMAIL Address", "MyPassword"))