Apache spark 带Spark 2.1的Spark REST Api
我们正在尝试从spark 1.6迁移到spark 2.1。 我尝试在本地配置spark master和worker,发现spark REST api与之前的不同 使用spark 1.6,当我启动master时,我使用以下url获得所有应用程序的响应 现在,对于spark 2.1,我也尝试了同样的方法,但并不像预期的那样 正在显示web uiApache spark 带Spark 2.1的Spark REST Api,apache-spark,Apache Spark,我们正在尝试从spark 1.6迁移到spark 2.1。 我尝试在本地配置spark master和worker,发现spark REST api与之前的不同 使用spark 1.6,当我启动master时,我使用以下url获得所有应用程序的响应 现在,对于spark 2.1,我也尝试了同样的方法,但并不像预期的那样 正在显示web ui 我是否缺少任何配置?要获取应用程序及其状态的列表,请尝试:http://localhost:8080/json 您将得到如下结果: { url:
我是否缺少任何配置?要获取应用程序及其状态的列表,请尝试:
http://localhost:8080/json
您将得到如下结果:
{
url: "spark://...:7077",
workers: [...],
cores: 6,
coresused: 0,
memory: 19374,
memoryused: 0,
activeapps: [...],
completedapps: [...],
activedrivers: [...],
status: "ALIVE"
}
阅读文档?看起来不错,我看了文件。最重要的是,我能够以同样的方式使用旧版本的spark访问rest api。。您可以尝试直接从spark主页下载spark并立即进行配置。看起来有些变化。我已经安装了它,我只是没有时间使用SparkOK,您是否按照文档检查了rest api端点?它按照1.6中的文档工作。也许你可以试试旧版本,看看。只需下载时间+2分钟即可启动主机和从机。没什么。