Warning: file_get_contents(/data/phpspider/zhask/data//catemap/7/kubernetes/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Spark/k8s:如何在现有kubernetes群集上以客户端模式安装Spark 2.4?_Apache Spark_Kubernetes_Pyspark_Jupyter_Jupyterhub - Fatal编程技术网

Apache spark Spark/k8s:如何在现有kubernetes群集上以客户端模式安装Spark 2.4?

Apache spark Spark/k8s:如何在现有kubernetes群集上以客户端模式安装Spark 2.4?,apache-spark,kubernetes,pyspark,jupyter,jupyterhub,Apache Spark,Kubernetes,Pyspark,Jupyter,Jupyterhub,我想在我的Kubernetes集群上安装ApacheSparkv2.4,但是这个版本似乎没有一个稳定的掌舵图。存在一个较旧/稳定的图表(适用于v1.5.1) 如何创建/查找v2.4图表 然后:需要v2.4的原因是启用客户机模式,因为我希望能够从笔记本电脑的开发环境向集群提交(PySpark/Jupyter notebook)作业。启用客户端模式(包括公开服务)需要哪些额外步骤 到目前为止,我发现的最接近的尝试(Spark v2.0.0除外),但我还没有开始工作,是在 在(同样是两年前),ju

我想在我的Kubernetes集群上安装ApacheSparkv2.4,但是这个版本似乎没有一个稳定的掌舵图。存在一个较旧/稳定的图表(适用于v1.5.1)

如何创建/查找v2.4图表

然后:需要v2.4的原因是启用客户机模式,因为我希望能够从笔记本电脑的开发环境向集群提交(PySpark/Jupyter notebook)作业。启用客户端模式(包括公开服务)需要哪些额外步骤

到目前为止,我发现的最接近的尝试(Spark v2.0.0除外),但我还没有开始工作,是在

在(同样是两年前),jupyter部署没有任何内容

Pangeo具体:

所以线程:

我已经搜索了这方面的最新资源,但没有发现任何东西都在一个地方。如果有人能向我指出,我会用其他相关链接更新这个问题。希望有可能拼凑出一个答案

和以往一样,提前表示巨大的感谢

更新:

对于v2.2来说,它非常容易部署-看起来很有希望…

请看,这是基于spark 2.4.6和hadoop 3.1的。您可以在查看此聊天的来源。Livy服务使通过RESTAPI提交spark作业变得很容易。您还可以使用齐柏林飞艇提交作业。我们制作此图表作为在K8s上运行spark的替代方法,而不使用spark submit K8s模式。我希望有帮助