Apache spark 由于异常,无法运行spark nlp:Java网关进程在发送其端口号之前退出
我在Ubuntu虚拟机上通过Jupyter安装了一个运行正常的Pyspark。Apache spark 由于异常,无法运行spark nlp:Java网关进程在发送其端口号之前退出,apache-spark,pyspark,johnsnowlabs-spark-nlp,Apache Spark,Pyspark,Johnsnowlabs Spark Nlp,我在Ubuntu虚拟机上通过Jupyter安装了一个运行正常的Pyspark。 只有一个Java版本(openjdk版本“1.8.0_265”),我可以像这样运行本地Spark(v2.4.4)会话而不会出现问题: import pyspark from pyspark.sql import SparkSession memory_gb = 24 conf = ( pyspark.SparkConf() .setMaster('local[*]') .se
只有一个Java版本(
openjdk版本“1.8.0_265”
),我可以像这样运行本地Spark(v2.4.4)会话而不会出现问题:
import pyspark
from pyspark.sql import SparkSession
memory_gb = 24
conf = (
pyspark.SparkConf()
.setMaster('local[*]')
.set('spark.driver.memory', '{}g'.format(memory_gb))
)
spark = SparkSession \
.builder \
.appName("My Name") \
.config(conf=conf) \
.getOrCreate()
现在我想使用spark nlp
。我已在Pyspark所在的同一虚拟环境中使用pip安装spark nlp
安装了spark nlp
然而,当我尝试使用它时,我得到了错误异常:Java网关进程在发送其端口号之前退出
我曾试着按照书中的指示去做,但没有成功
这样做
spark = SparkSession \
.builder \
.appName("RevDNS Stats") \
.config(conf=conf) \
.config("spark.jars.packages", "com.johnsnowlabs.nlp:spark-nlp_2.11:2.5.5")\
.getOrCreate()
只会导致上述错误
我该如何解决这个问题