Apache spark 在纱线簇模式下运行Apache Toree
根据这个JIRA(),apachetoree支持以集群模式运行内核。 但我不能运行它。下面是我正在使用的kernel.jsonApache spark 在纱线簇模式下运行Apache Toree,apache-spark,jupyter-notebook,apache-toree,Apache Spark,Jupyter Notebook,Apache Toree,根据这个JIRA(),apachetoree支持以集群模式运行内核。 但我不能运行它。下面是我正在使用的kernel.json { "language": "scala", "display_name": "Remote - Scala", "env": { "__TOREE_SPARK_OPTS__": "--master yarn --deploy-mode cluster", "SPARK_HOME": "/usr/hdp/latest/spark",
{
"language": "scala",
"display_name": "Remote - Scala",
"env": {
"__TOREE_SPARK_OPTS__": "--master yarn --deploy-mode cluster",
"SPARK_HOME": "/usr/hdp/latest/spark",
"__TOREE_OPTS__": "",
"DEFAULT_INTERPRETER": "Scala",
"PYTHON_EXEC": "python"
},
"argv": [
"/usr/local/share/jupyter/kernels/apache_toree_scala/bin/run.sh",
"--profile",
"{connection_file}"
]
}
请帮忙 您想使用哪一版本的toree?这个问题在发布了
toree-0.2.0.dev1.tar.gz
之后得到了解决——因此我的解释是,它可能还没有得到官方的支持。事实上,如果有官方支持的话,整个Spark纱线支持是不成熟的。