Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 我的代码是他们在星火与Jupyter笔记本内核分发_Apache Spark_Pyspark_Jupyter Notebook - Fatal编程技术网

Apache spark 我的代码是他们在星火与Jupyter笔记本内核分发

Apache spark 我的代码是他们在星火与Jupyter笔记本内核分发,apache-spark,pyspark,jupyter-notebook,Apache Spark,Pyspark,Jupyter Notebook,我需要帮助,因为我不知道Jupyter笔记本内核在Spark集群中是否可用 在我的本地Spark中,我使用这个,我没有问题 我将此内核用于PySpark: 我使用的是一个独立的Spark群集,有三个节点,没有纱线 非常感谢。您可以使用带有python内核的主IP独立连接到spark群集 import pyspark sc = pyspark.SparkContext(master='spark://<public-ip>:7077', appName='<your_app_n

我需要帮助,因为我不知道Jupyter笔记本内核在Spark集群中是否可用

在我的本地Spark中,我使用这个,我没有问题

我将此内核用于PySpark:

我使用的是一个独立的Spark群集,有三个节点,没有纱线


非常感谢。

您可以使用带有python内核的主IP独立连接到spark群集

import pyspark 
sc = pyspark.SparkContext(master='spark://<public-ip>:7077', appName='<your_app_name>')
导入pyspark
sc=pyspark.SparkContext(master='spark://:7077',appName='')
参考资料


谢谢您的回答。此方法适用于findspark()。你知道阿帕奇托瑞吗?你知道我能否定义我的集群主机吗?或者Toree只在本地工作?我从未使用过ApacheTore,但查看了我找到的如何配置的文档。