Apache spark 无法在pyspark中导入s3fs
当我尝试使用以下代码在pyspark中导入s3fs库时:Apache spark 无法在pyspark中导入s3fs,apache-spark,amazon-s3,pyspark,filesystems,Apache Spark,Amazon S3,Pyspark,Filesystems,当我尝试使用以下代码在pyspark中导入s3fs库时: import s3fs 我得到以下错误: 遇到错误:无法从导入名称“maybe\u sync” “fsspec.asyn”(/usr/local/lib/python3.7/site packages/fsspec/asyn.py) 回溯(最近一次调用上次):文件 “/usr/local/lib/python3.7/site packages/s3fs/init.py”,第1行,在 从.core import S3FileSystem,
import s3fs
我得到以下错误:
遇到错误:无法从导入名称“maybe\u sync”
“fsspec.asyn”(/usr/local/lib/python3.7/site packages/fsspec/asyn.py)
回溯(最近一次调用上次):文件
“/usr/local/lib/python3.7/site packages/s3fs/init.py”,第1行,在
从.core import S3FileSystem,S3File文件“/usr/local/lib/python3.7/site packages/s3fs/core.py”,第12行,在
从fsspec.asyn导入异步文件系统,同步,同步包装,可能同步导入错误:无法从导入名称“可能同步”
“fsspec.asyn”(/usr/local/lib/python3.7/site packages/fsspec/asyn.py)
fsspec
软件包已安装在我的笔记本中。事实上,我已经很好地使用了很长一段时间,当这突然发生的时候。
我试着用谷歌搜索,但找不到这个具体的错误。
以前有人见过这个吗?如果是这样,你知道怎么解决吗?很高兴听到这不仅仅是我。看起来如果你安装了s3f==0.5.1和fsspec==0.8.3版本,应该可以解决这个问题。是的,这很有效。此外,您还必须更改引导设置以安装较旧版本的
fsspec
和s3fs
。这个问题是因为s3fs在4月20日发布了一个新版本,它没有使用旧的fsspec
中的一个函数。它们需要考虑向后兼容性:(