Apache spark SparkNLP示例代码在DataBarcks上下载900MB非常慢_Apache Spark_Nlp_Databricks_Johnsnowlabs Spark Nlp_Aws Databricks

Apache spark SparkNLP示例代码在DataBarcks上下载900MB非常慢

apache-spark nlp

Apache spark SparkNLP示例代码在DataBarcks上下载900MB非常慢,apache-spark,nlp,databricks,johnsnowlabs-spark-nlp,aws-databricks,Apache Spark,Nlp,Databricks,Johnsnowlabs Spark Nlp,Aws Databricks,我正在尝试运行关于SparkNLP的ipython笔记本我在数据库上运行它 6.6 ML spark 2.4.5 代码 # no need for token columns use_embeddings = UniversalSentenceEncoder.pretrained('tfhub_use').\ setInputCols(["document"]).\ setOutputCol("sentence_embeddings") 拿走下

我正在尝试运行关于SparkNLP的ipython笔记本

我在数据库上运行它

 6.6 ML spark 2.4.5

代码

# no need for token columns 
use_embeddings = UniversalSentenceEncoder.pretrained('tfhub_use').\
setInputCols(["document"]).\
setOutputCol("sentence_embeddings")

拿走

下载900 MB预训练模型

速度太慢，databricks Spark UI显示没有活动任务，节点为i3.8 EC2。此外，数据记录显示代码只运行一个作业/任务，因此没有并行计算

我犯了一些错误吗？如何加速

谢谢

 10 minutes