Fatal编程技术网
  • apache-spark/
  • Apache spark 无法安装PySpark模块错误未找到模块

Apache spark 无法安装PySpark模块错误未找到模块

apache-spark pyspark

Apache spark 无法安装PySpark模块错误未找到模块,apache-spark,pyspark,Apache Spark,Pyspark,我正在尝试使用微软的超空间应用程序 为了使用Python，我需要安装名为Hyperspace的模块 当我从hyperspace import*实现代码时，我得到以下错误： ModuleNotFoundError: No module named 'hyperspace' 我尝试了以下方法，但仍然没有成功 from pyspark hyperspace import * 有人能告诉我成功安装模块需要什么吗 我 感谢Databricks不支持该模块这是通过安装com.microsoft.hype

我正在尝试使用微软的超空间应用程序

为了使用Python，我需要安装名为Hyperspace的模块

当我从hyperspace import*实现代码
时，我得到以下错误：


ModuleNotFoundError: No module named 'hyperspace'


我尝试了以下方法，但仍然没有成功


from pyspark hyperspace import *


有人能告诉我成功安装模块需要什么吗

我


感谢
Databricks不支持该模块
这是通过安装com.microsoft.hyperspace:hyperspace-core_2.11:0.2.0解决的，但是，当我运行以下代码行时
hyperspace.createIndex（emp_DF，emp_IndexConfig）
我得到错误：
java.lang.ClassCastException:org.apache.spark.sql.execution.datasources.SerializableFileStatus无法转换为org.apache.hadoop.fs.FileStatus
有什么想法吗？正如您所知，我正试图从Databricks，ApacheSark运行此代码。我认为问题在于Databricks使用DBFS作为其文件系统，而应用程序似乎只能在HDSF中运行。使用的运行时版本是什么？@AlexOtt，感谢您的帮助。我被告知Databricks DBFS文件系统不支持Hyperspace，所以我将结束这个问题